Долго не получалось ничего писать, так что начинаем исправляться начиная с сейчас!
За последний месяц много чего произошло:
👉. Вчера выложили на arXiv
работу про улучшение
RAG с помощью миниатюрных графов знаний, которые мы считаем на лету из данных.
🚨. Сегодня выложили
работу по теории трансформеров, где мы доказываем, какие (графовые, конечно) алгоритмы могут выучить трансформеры. В отличие от других статей, у нас все теоремки работают в реалистичных режимах параметров – немного слоёв небольшой ширины.
🏳️🌈. Нашу работу над способностями Gemini в математике показали на
Google I/O. Про 91% на
Hendrycks MATH порадовался
даже Сундар – три года назад модели выбивали на этом бенчмарке всего 6%.
🎩. Канал зафичерили в
sci_career, так что дорогим подписчикам теперь придётся иногда слушать про карьеру.
Разборы статей вас ждут на неделе. Про джеминай не получится травить анекдоты помимо официальных, а то Сундар даст по жопе.
🚨
