CVPR – крупнейшая в мире конференция по компьютерному зрению – анонсировала несколько существенных изменений процесса подачи и рецензирования статей. CVPR – конференция крупнейшая не только в компьютерном зрении, но и вообще в мире. Например, она занимает второе место в мире по цитируемости, аккурат после Nature.

Во-первых, всех авторов статей заставят рецензировать. В более лёгком формате такая система уже работает на конференциях типа NeurIPS и ICLR, вот только там заставляют рецензировать хотя бы одного автора. Интересно, что станет с нагрузкой на рецензентов: по идее, она может очень существенно снизиться в результате такого нововведения.

Во-вторых, если ты свою работу рецензента делаешь спустя рукава, твои работы могут быть не приняты к публикации. С одной стороны, это много раз предлагалось кровожадной частью научного сообщества (никому не нравится получать пустую рецензию), с другой – непонятно, будет ли система полностью справедливой. Конечно, ещё интересно, сколько у авторов CVPR рецензии съест собака или испепелит робот на кухне. 🤤

В-третьих, запрещается подавать более 25 статей на конференцию. Тут нужно заметить, что принимается на CVPR примерно четверть поданных статей, так что самым плодовитым авторам (в 23 году у одного китайского профессора было 24 принятых статей) придётся начать выбирать, что подавать. Таким машинам для публикаций придётся либо мигрировать на других площадки, либо улучшать качество статей.

Остальные нововведения касаются запретов на использование языковых моделей для анализа статей (переписывать текст рецензии можно) и видимости имён рецензентов во время фазы дискуссии. Как думаете, все эти нововведения останутся и перекочуют в ML конференции?

Сколько на самом деле стоит инференс GPT-4o?

Почему-то многие думают, что провайдеры больших языковых моделей продают API чуть ли не себе в убыток. Я бы хотел поделиться прикидками о том, почему это совсем не так, и заодно помечтать о том, сколько параметров мы можем себе позволить тратить на модель, которая сможет заменить человека в работе.

Все расчёты можно воспроизвести в колабе, меняя цифры, как вам захочется. Выводы остаются неизменны.

Для расчётов нам нужно сделать несколько допущений:
1. Количество активированных параметров в модели. Для GPT 4 Turbo широко ходили слухи про 200 миллиардов параметров, так что 4o должна быть меньше. По данным Artificial Analysis, пропускная способность GPT-4o – 95 tok/s, что находится между LLama 3.1 7b (182 tok/s) и 70b (80 tok/s). Для наших целей предположим, что в 4o 100 миллиардов активированных параметров, делая скидку на то, что в OpenAI инференсом занимаются крайне толковые люди. Кстати, Gemini Flash 1.5 с последним обновлением выдаёт 330 tok/s.
2. Амортизированная стоимость сервера с 8 H100. Чтобы не сильно расстраиваться, возьмём оценку сверху как цену такого сервера на AWS – на сегодняшний день $39.33 в час. На рынке цены могут быть минимум в пять раз меньше.
3. MFU – какой процент вычислений используется эффективно. Стандартом является 30-50%, для наших прикидок возьмём 30%.

При таких допущениях (а с другими вы можете поиграть в колабе), стоимость инференса миллиона токенов получается $0.23. Сравним это с официальной ценой в $2.5 за input и $10 за output и получим наценку API в ~50 раз. И это – оценка сверху со всеми допущениями в сторону удорожания. С другой стороны, кому-то же надо скидываться Саме на Koenigsegg. 😮‍💨

Заодно мы можем посчитать, насколько дешевле модели в сравнении с кожаными мешками. Взяв минимальную зарплату в Нью-Йорке ($16) и производительность в 100 токенов в минуту (среднее у людей примерно 50 слов в минуту), получим стоимость миллиона токенов в $2666.67. Даже o1 со своими $60 / Mtok тут рядом не стоит. Есть, куда расти!

Часто говорят, что PhD плохо влияет на психическое здоровье, а вот теперь подъехали данные: доля медикаментозного вмешательства существенно увеличивается к концу программы.

Берегите кукуху, дорогие подпичики, она стоит того. 🫂

Апдейт моделей Gemini 1.5 Pro & Flash

Вышла в свет очередная вещь, над которой я работал летом – обновление основных моделей Gemini. Из хайлайтов: +8% MMLU Pro, +23% 👽 на Hendrycks MATH, +10% на GPQA Diamond для Flash модели.

Цена на Gemini 1.5 Pro порезана больше чем в два раза. Также добавили Gemini 1.5 Flash 8B в Gemini API и Google AI studio.

У EleutherAI вышел классный гайд по muP параметризации LLMок.

Для тех, кто не знает, muP – Maximal Update Parameterization – это серия статей, в которых Greg Yang (сейчас в xAI) развивает теорию параметризации глубоких сетей. Что-то вроде Neural Tangent Kernel или анализ сетей при помощи теории среднего поля, но с выводами более таргетированными на обучение сеточек градиентным спуском. Один из результатов – стабильная инциализация параметров сетей, которая позволяет избавиться от необходимости тюнить learning rate градиентного спуска.

В статье "Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer" с ребятами из OpenAI Грег выводит методы инициализации трансформеров. Нужно сказать, что, скорее всего, в индустрии не все инициализируют веса по muP, всё-таки теория и практика отличаются на практике. Тем не менее, с muP для каждой части нейросети мы можем (хотя бы в теории) сказать, корректно ли она пропускает через себя градиенты. Градиентные энергетические блоки – бич многих глубоких сеток, и дебажить такое – сплошная головная боль.

Сам Грег предлагает начинать знакомиться с теорией со статьи "A Spectral Condition for Feature Learning", к чему мы с уважаемыми подписчиками и приступим. 🤓

Эту статью приняли на NeurIPS. Увидимся в Ванкувере! ✨

Также приняли ещё одну статью про бенчмарки GNN+LLM, о ней напишу как-нибудь позже.

Очередной день, очередной кризис репликации в науке. Три недели назад я писал про дело Франчески Джино, теперь под подозрением Элизер Маслия – один из топовых учёных по исследованиям болезней Альцгеймера и Паркинсона. У него примерно 800 опубликованных статей, и до недавнего времени был главной подразделения нейронаук в National Institute of Aging.

Журнал Science опубликовал свою выжимку из полного досье – и там полная жесть. Проблемы в 132 👽 статьях, следы уже почти профессиональной манипуляции. Важен ещё и домен, в котором работал Маслия: налажать в лекарстве от Паркинсона – это вам не исследования честности, от фальсификаций в которых плохо будет разве что паре сотен MBA с маккинзоидами. Интересно, будут ли какие-то последствия ⛓, кроме увольнения – всё-таки от Альцгеймера умирает больше ста тысяч человек в год, а прогресс замедлился буквально на годы.

Рекомендую почитать оригинал статьи в Science: там сильно больше подробностей. Обидно, что такими темпами доверие к науке как институту подорвётся полностью.

Последний раз я писал о себе чуть больше года назад. За последний год канал вырос больше, чем вдвое, я стал работать над совсем другими вещами, ну и вообще, пора закрепить новый пост.

Зовут меня всё ещё Антон. 👋 В 2021 я защитил PhD по машинному обучению в Германии, и с тех пор работаю исследователем в Google Research. Два года назад я перебрался в Нью-Йорк на постоянку, где теперь и обитаюсь. В гугле я устроился в команду, которая занимается алгоритмами на графах, оптимизацией, приватностью и рыночными механизмами. Вот тут можно прочитать пост с хайлайтами за 22 год.

Часть своего времени я работаю над графовыми нейросетями, эмбеддингами на огромных объёмах данных, и всякими около-графовыми штуками по мелочи. Публикую статьи и иногда внедряю нарисёрченное в прод. С этого года частично перекатился в LLMки и теперь занимаюсь данными для претрейна Gemini и Gemma, и парой более специализированных направлений, например, модельками, которые завоевали серебро на международной математической олимпиаде. Пока, вроде, получается неплохо.

Интересно, куда занесёт в следующем году. 🤔

Запустили Gemma 2 зафайнтьюненную на японский. Веса – на HuggingFace.

Заодно запустили соревнование на Кэггле на $150k 👀 на адаптацию Gemma к 73 разным языкам, включая русский и украинский. Ждём ваших сабмитов!

Gemini 1.5 Flash 8B теперь доступна всем

После обновления 1.5 Flash мы выпустили Flash 8B для всех. Вдвое дешевле Gemini 1.5 Flash, по бенчмаркам – на уровне майской версии. Также подняли количество запросов в минуту до 4000. 😰

Стоит $0.0375/1M input, $0.15/1M output tokens. Цена примерно соответствует цене LLaMA 3.2 3B у together.ai, ну а по бенчмаркам она совершенно в другой категории. Мой ответ на вопрос “что вы делали этим летом”. 😛

Почему графы?

В комментариях к новому интро задали понятный вопрос: как так сложилось, что я занимаюсь графами? Об этом я и сам частенько задумываюсь 🤪, так что пора и вам рассказать.

Для начала – немного истории: моё первое знакомство с около-рисёрчем по графам произошло на последнем курсе бакалавриата НИУ ВШЭ – мне хотелось повыпендриваться и написать наукоёмкую выпускную работу. Тогда был расцвет графовой кластеризации: люди придумывали быстрые алгоритмы оптимизации модульности, исследовали её пределы разрешающей способности, и писали на эту тему красиво свёрстанные стостраничные обзоры. Я набрёл на новую функцию, альтернативную модульности, с говорящим названием Surprise. Для неё тогда не было показано результатов жадного алгоритма (который для модульности называется алгоритмом Лёвена), вот его я придумал, заимплементировал, и чуток побенчмаркал. Хоть тогда он никому не приглянулся, начало было положено.

После вышки я пошёл в сколтех, где мне повезло работать с Panagiotis Karras, у которому тоже были интересны графы. Сначала мы пытались придумать что-то про influence maximization, но потом, ближе к концу магистратуры, я набрёл на тему графовых эмбеддингов – вот с этого момента всё и завертелось, потому что стало понятно, что их можно глубоко изучать в аспирантуре.

В изучении графов меня подкупает несколько аспектов. Во-первых, интуитивно простая модель данных: объяснить понятие графо можно за чашкой чая бабушке. При этом в области много интересных и глубоких результатов, связывающих графы с другими областями математики. Во-вторых, широкая применимость: если ты придумаешь хороший метод решения почти любой задачи на графах, шанс, что им воспользуются учёные в прикладной области, довольно велик. В-третьих, связанность с реальным железом: из-за неприспособленности компьютеров для работы с графами, для разных размеров задач можно придумывать новые алгоритмы, которые будут использовать, например, распределённые вычисления.

Почти на любые данные можно смотреть, как на граф, а иногда это даже бывает полезно. С другой стороны, любителям машинного обучения как область для вкатывания рекомендовать графы тоже не особо хочется. 😐

Начинается сезон стажировок, а это значит, что мне пару раз на дню пишут всякие талантливые товарищи с вопросами, можно ли в нашу команду устроиться стажёром. Развёрнуто отвечать на весь поток писем не всегда получается, но с дорогими подпищеками поделиться мудростью всё-таки хочется. 👴

Стажёры для компаний – это в первую очередь источник дешёвого труда. Выхлоп от самих стажёрских проектов чаще всего минимальный, но зато у компании появляется (а) ценная информация про то, какова продуктивность потенциального фулл-тайм сотрудника и (б) вероятная возможность нанять его дешевле, чем среднего выпускника: при вероятном найме люди перестают активно собеседоваться с конкурентами, снижая цену.

До ковида, когда деньги были дешёвыми, технологические компании росли, как на дрожжах. Нанимали десятки тысяч человек в год, так что все привыкли к большому потоку студентов. С резким повышением ключевой ставки, деньги стали дороже, компании стали даже увольнять людей, а количество мест для стажёров значительно сократилось. Из того, что я вижу, студенты ещё не до конца прочувствовали новую экономическую реальность, и особо не стараются с подачами. А зря.

Если среди подписчиков есть студенты, пара быстрых советов: подавайтесь широко, но прицельно. Составьте список из 10-20 наиболее близких по темам, релевантным вашему PhD, и пишите им персонализирвоанные сообщения напрямую. На копипаст или, того хуже, сгенерированные сообщения отвечать сил уже нет. Всем удачи!

Пара мыслей про Долину

Направляясь в очередную командировку в наш головной офис, меня посетила мысль, что не все, в общем-то имеют представление о том, что такое эта наша Кремниевая долина. Среди подписчиков канала немало людей, у которых будет возможность там поработать, а мне бы хотело рассказать, почему, как мне кажется, стремиться туда смысла нет. Я там прожил около полугода в далёком 2019, так что, надеюсь, мнение будет не совсем голословным.

Сначала о хорошем: в Калифорнии в целом и в долине в частности офигенный климат. Количество комфортных солнечных дней в году зашкаливает, и это сильно влияет на настроение и самочувствие – всё-таки мы все немного цветочки-пирожочки. В паре часов – езды крышесносные национальные парки, любителям природы – полное раздолье. 🛌

Из плохого – полное отсутствие культурных событий и катастрофическая гомогенность общества. Нормальным вопросом при первой встрече может быть «ты программист или проджект?» – и у всех одни и те же интересы. Если вам нравятся исключительно люди, которые любят бег, хайкать и писать код – вопросов нет, милости прошу в долину. Остальным непрошенный совет: попробуйте выбраться хотя бы в Сан-Франциско, или, если совсем повезёт – в Нью-Йорк.

Чтобы канал не превратился в анонсы Gemini, расскажу про ревью с ICLR. Статистику можно посмотреть на paper copilot, в этом году кажется, что с 5.5 должен начинаться accept, так что шансы есть у двух наших статей.

В этот раз получилось интересно, потому что тройку мы получили от рецензента, у которого реально получилось глубоко прочитать статью с технической стороны, но совершенно не понял, что мы не решаем все мировые проблемы, а решаем небольшую исследовательскую проблему. 😮‍💨

Посмотрим, удастся ли переубедить рецензента – обычно такое работает редко, но тут есть надежды, потому что человек уже потратил много времени, чтобы разобраться в статье.

А как ваш опыт с ICLR в этом году?

Интересная статья вышла в scientific reports: обыватели не просто не могут отличить ИИ-поэзию от написанного людьми, так ещё и оценивают получившееся лучше по всем параметрам.

Два панчлайна: (i) для генерации поэм использовался ChatGPT 3.5, который иногда трёх слов связать вместе не может. (ii) Единственной стратой людей, которые справились с задачей (в самой статье такого разбиения нет, нужно анализировать сырые данные) оказались небинарные персоны. 🏳️‍🌈

Новый день, новый пост про калибровку предсказаний. В прошлом году я писал про классическую работу Фостера и Вохры про то, что идеальной калиброванных предсказаний можно добиться не обладая знаниями о распределении предсказываемой величины. 🤔

В недавно выпущенной статье предлагается рассматривать более сложную игру с тремя игроками: "предсказателем", "ставочником", чья цель – воспользоваться плохими предсказаниями предсказателя, и "природой", которая производит предсказываемые события.

В таком сеттинге авторы показывают схожесть между калибровкой и сожалением (regret) и доказывают, что случайные исходы по отношению к прогнозам эквивалентны хорошим прогнозам по отношению к исходам. Интуитивно, если исходы случайны по отношению к прогнозам, у "ставочника" нет возможности получить прибыль ставя против прогноза, а если пргнозы хороши по отношению к исходам, вся неопределённость в ошибках предсказателя объясняется случайностью природы.

Осталось только это всё интернализировать. 😰

Не могу не похихикать с посленего ллм-релиза Амазона. Маркетологи перестали стесняться и начали выделять цифры, которые выглядят совсем не впечатляюще. 🤦‍♂️

Micro и Nano хорошие, примерно на уровне 8B флеша, но с большой моделью у ребят пока получилось не очень. С другой стороны, чем больше игроков на арене, тем интереснее.