Почему сети выучивают базисы Фурье?
или эмерджентность неприводимых представлений 🤤

В последние несколько лет стало модным использование симметрий 👥 данных для построение более эффективных моделей (en. inductive biases; обзорная статья на Кванте; перевод). Например, в моделировании климата удобно рассматривать Землю как единичную сферу – погода будет функцией, задающейся двумя координатами вместо трёх для Эвклидового пространства.

В моих любимых графах симметрии активно используются для моделирования молекул – например, для предсказания межатомных взаимодействий модели стоит быть эквивариантной по E(3). Использование симметрий позволяет значительно снизить количество параметров, стабилизирует процесс тренировки и улучшает генерализацию 📈. Но это немного спорно – недавние результаты говорят о том, что подходы, которые не ограничивают модель эквивариантностью, могут выбивать метрики лучше. В любом случае, всех заинтересовавшихся отправляю в мини-книжку Бронштейна. 📃

Известно, что фильтры свёрточных сетей для обработки изображений очень напоминают по форме напоминают фильтры Габора, соответствующие активациям в зрительных долях макак. Как так получается? 🧐

Недавно вышедшая статья “Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks” делает шаг в объяснении этого феномена. Для некоторого класса нейросетей (например, биспектральных с ICLR’23) если функция f с ортонормальными весами W инвариантна по входу к какому-либо действию группы G, веса выражаются через коэффициенты преобразования Фурье этой группы. Другая теорема lоказывает, что из весов W можно восстановить таблицу группы G. 👌

Судя по всему, для моделирования систем с симметриями достаточно обучить сеть на достаточном количестве данных, показывая симметрию на обучающих примерах, ну а дальше уже learning goes brr 📈. Получается математическое обоснование для Bitter Lesson, который говорит о том, что методы, опирающиеся на увеличение вычислений, выигрывают в гонках систем машинного обучения. 😭

Нередко, буквально спустя несколько минут после начала чтения очередной научной статьи, я начинаю сталкиваться с проблемой концентрации внимания. Я продолжаю смотреть на текст, двигать глазами, прокручивать страницу с pdf-кой, но самого процесса чтения как такового больше не происходит - мысли улетают куда-то в космос. Так уж устроен мозг - не любит он напрягаться. Но как же быть с этой проблемой?

Основной способ, который я использую для борьбы с улетанием мыслей куда-то не туда - постоянно вспоминать, с какой целью я начала читать статью, задавать себе вопросы, которые соответствуют приближению к этой цели, а потом искать в статье ответы на эти вопросы.

Примеры целей, к которым можно стремиться при чтении статьи:

1️⃣ Понять, можно ли применить вычислительный алгоритм, описанный в статье, в своей работе, как это сделать и нужно ли его для этого как-то модифицировать.
Вопросы, которые можно себе задавать в таком сценарии:
➡️ Что подается на вход алгоритма и что получается на выходе? Т.е. какие входные данные мне нужны, чтобы получить результат, как конкретно будет выглядеть этот результат? Вопросы выглядят как что-то простое и очевидное, но если постоянно отвлекаться, то даже такие простые вещи можно упустить из виду.
➡️ Какими экспериментами (и, возможно, теоретическими соображениями) авторы обосновывают то, что их алгоритм действительно делает то, что задумано? Верю ли я в то, что их эксперименты действительно доказывают их заявления?
➡️ Есть ли у представленных экспериментов какие-то нюансы, которые могут помешать перенести алгоритм из статьи на мой сценарий?
➡️ Сколько компьюта авторы затратили на свои эксперименты?
➡️ И т.д., и т.п.
Критерий успеха: вы поняли, нужно применять алгоритм или нет. Если да, то вы понимаете в общих чертах, как к этому приступить.

2️⃣ Разобраться, каково текущее состояние какой-то области или задачи (например, детекции искусственных текстов). Такая цель часто заявляется при чтении статей-обзоров. Однако, на самом деле это нельзя назвать целью в полном смысле, поскольку непонятно, каков будет критерий достижения. Так что лучше задать себе уточняющий вопрос: Как конкретно я хочу применить знания о состоянии области или задачи впоследствии?
Возможные варианты ответа:
🔡🔣Я хочу убедиться, что в этой области еще не реализовали новую идею, которая пришла мне в голову.
В этом случае можно задать вопросы:
➡️ Что сделали самого похожего на то, что я придумал(а)? Это в точности то же самое или есть отличия?
➡️ Можно ли из этого похожего извлечь информацию, полезную для реализации моей идеи?
➡️ Есть ли методы заведомо настолько лучше моего, что мой реализовывать нет смысла?
➡️ С какими методами из прочитанных в статьях я буду сравнивать свой метод?
Критерий успеха: вы поняли, реализовал ли кто-то идею или нет, есть ли в принципе смысл ее реализовывать и если да, то как.
🔡🔣Я хочу найти новую тему для исследования. В принципе, в этом случае можно устраивать мозговой штурм, навскидку придумывая всякие разные варианты, что вы можете сделать и проверять разумность этого как в предыдущем пункте.
🔡🔣Продвинулись ли люди в решении задачи в достаточной степени, чтобы я мог(ла) использовать их результаты в своей работе? В этом случае вопросы будут похожи на пункт 1, только с акцентом на целесообразности использования предложенных алгоритмов.
Критерий успеха: как в пункте 1.

3️⃣ Подготовить по статье доклад на семинаре. В этом случае можно задать себе следующие вопросы:
➡️ Кто будет присутствовать на семинаре? Какой у них бэкграунд? С какой целью они пришли слушать про эту статью, что хотят для себя вынести?
➡️ Исходя из ответа на предыдущий вопрос: какие конкретно аспекты статьи будут интересны слушателем с данным бэкграундом? В соответствии с этим, какие вопросы они будут задавать?
➡️ Далее можно задавать себе те вопросы, которые ожидаются от слушателей и искать в тексте ответы на них.
Критерий успеха: вы сделали доклад и слушатели семинара показали признаки понимания того, что им рассказали.

#учеба #наука