Сергей Марков: машинное обучение, искусство и шитпостинг

Хотя сети Колмогорова-Арнольда (Kolmogorov-Arnold, KAN) обладают большой теоретической выразительностью, платой за это становится резкое увеличение числа параметров. Кроме того, KAN испытывают сложности с выявлением высокочастотных признаков в многомерных задачах.

Для решения этих проблем авторы статьи предлагают сети Колмогорова-Арнольда-Фурье (Kolmogorov-Arnold-Fourier Network, KAF), которые эффективно объединяют обучаемые случайные признаки Фурье (Random Fourier Features, RFF) и новый гибридный механизм активации GELU-Фурье для достижения баланса между эффективным числом параметров и способностью создавать спектральные представления.

Основная новизна работы заключается в: (1) объединении двухматричной структуры KAN через свойства ассоциации матриц для существенного уменьшения числа параметров; (2) введение обучаемых стратегий инициализации RFF для устранения спектральных искажений в многомерных задачах аппроксимации; (3) реализация адаптивной гибридной функции активации, которая постепенно улучшает частотное представление в процессе обучения.

Эксперименты авторов демонстрируют превосходство KAF в различных задачах, относящихся к областям компьютерного зрения, обработки естественного языка, обработки звука, а также в задаче решения дифференциальных уравнений

https://arxiv.org/abs/2502.06018

arXiv.org

Kolmogorov-Arnold Fourier Networks

Although Kolmogorov-Arnold based interpretable networks (KAN) have strong theoretical expressiveness, they face significant parameter explosion and high-frequency feature capture challenges in...

www.group-telegram.com/id/oulenspiegel_channel.com/4273

3.5K viewsFeb 18 at 07:45

Хотя сети Колмогорова-Арнольда (Kolmogorov-Arnold, KAN) обладают большой теоретической выразительностью, платой за это становится резкое увеличение числа параметров. Кроме того, KAN испытывают сложности с выявлением высокочастотных признаков в многомерных задачах.

Для решения этих проблем авторы статьи предлагают сети Колмогорова-Арнольда-Фурье (Kolmogorov-Arnold-Fourier Network, KAF), которые эффективно объединяют обучаемые случайные признаки Фурье (Random Fourier Features, RFF) и новый гибридный механизм активации GELU-Фурье для достижения баланса между эффективным числом параметров и способностью создавать спектральные представления.

Основная новизна работы заключается в: (1) объединении двухматричной структуры KAN через свойства ассоциации матриц для существенного уменьшения числа параметров; (2) введение обучаемых стратегий инициализации RFF для устранения спектральных искажений в многомерных задачах аппроксимации; (3) реализация адаптивной гибридной функции активации, которая постепенно улучшает частотное представление в процессе обучения.

Эксперименты авторов демонстрируют превосходство KAF в различных задачах, относящихся к областям компьютерного зрения, обработки естественного языка, обработки звука, а также в задаче решения дифференциальных уравнений

https://arxiv.org/abs/2502.06018

BY Сергей Марков: машинное обучение, искусство и шитпостинг