Forwarded from DLStories
Теперь про AlphaGeometry2. Это улучшение первой версии AlphaGeometry, но основная идея их работы одинаковая. AlphaGeometry состоит из двух частей: symbolic deduction engine (SDE) и LLM. Решение задачи происходит так: сначала в модель подаются все вводные по задаче (дан треугольник такой-то, этот угол такой-то), и symbolic deduction engine на основе этих данных генерирует все возможные выводы. Например, если из вводных данных можно исходя из геометрических правил понять, что ∠ABC=60°, то SDE это выведет. SDE — это не обучаемая штука, она оперирует правилами геометрии и при работе строит граф выводов.
Однако одной SDE для решения сложных задач часто не хватает. Чтобы решить олимпиадные задачи по геометрии, часто в них нужно генерировать новые сущности. Например, сделать что-то вида "давайте обозначим середину отрезка AB через D и проведем прямую CD, тогда ∠ACD=40° и отсюда получим, что...". Чтобы научить AlphaGeometry так делать, авторы взяли LLM и учили ее на основе имеющейся инфы о задаче генерировать подобные идеи.
В итоге процесс работы AlphaGeometry выглядит так:
1. SDE выводит все возможные утверждения, пока они не закончатся или не будет найдено решение задачи;
2. Если SDE отработала и решение не найдено, LLM-часть предлагает новую сущность (типа, го поставим вот эту точку)
3. Возвращаемся в пункт 1 и продолжаем далее.
(см 1 и 2 картинку к посту для иллюстрации процесса)
LLM-часть учили на огромном количестве геом задач, многие из которых генерировали синтетически. На IMO-2024 AlphaGeometry геом в итоге решила, причем при решении тоже потребовалось обозначить новую сущность — точку E на рисунке (третья картинка к посту)
Больше про AlphaGeometry:
✔️блогпост DeepMind;
✔️статья в Nature;
✔️код на GitHub.
Однако одной SDE для решения сложных задач часто не хватает. Чтобы решить олимпиадные задачи по геометрии, часто в них нужно генерировать новые сущности. Например, сделать что-то вида "давайте обозначим середину отрезка AB через D и проведем прямую CD, тогда ∠ACD=40° и отсюда получим, что...". Чтобы научить AlphaGeometry так делать, авторы взяли LLM и учили ее на основе имеющейся инфы о задаче генерировать подобные идеи.
В итоге процесс работы AlphaGeometry выглядит так:
1. SDE выводит все возможные утверждения, пока они не закончатся или не будет найдено решение задачи;
2. Если SDE отработала и решение не найдено, LLM-часть предлагает новую сущность (типа, го поставим вот эту точку)
3. Возвращаемся в пункт 1 и продолжаем далее.
(см 1 и 2 картинку к посту для иллюстрации процесса)
LLM-часть учили на огромном количестве геом задач, многие из которых генерировали синтетически. На IMO-2024 AlphaGeometry геом в итоге решила, причем при решении тоже потребовалось обозначить новую сущность — точку E на рисунке (третья картинка к посту)
Больше про AlphaGeometry:
✔️блогпост DeepMind;
✔️статья в Nature;
✔️код на GitHub.
Такие разные геометрии над полем из одного элемента. Из статьи
Mapping F_1-land:An overview of geometries over the field with one element (2009)
by Javier López Peña, Oliver Lorscheid
Mapping F_1-land:An overview of geometries over the field with one element (2009)
by Javier López Peña, Oliver Lorscheid
Forwarded from Жизнь и датка (Alexander Guschin)
Наши ребята победили на IOAI - заняв первое место по ML и CV задачам и второе по NLP задаче. В общем зачете мы получили 99 баллов из 100, при этом у следующей команды уже 75 баллов. Мы все немного в шоке, и команда, и тренеры 🙂
В этом году в финале участвовало 42 команды. От России поехала только наша, но от некоторых стран (США, Китай, Япония) было по несколько команд. Был большой разброс в степени подготовки: некоторые команды собирались буквально за месяц до финала, а некоторые начинали готовиться с начала весны. Изначальный уровень команд тоже был разный: в некоторых странах проходил полноценный отборочный этап, а в некоторых команды собирались без него из участников ICPC. Получилось так, что знания ML сильно отличались по командам (а одна даже была составлена из олимпиадников-лингвистов).
Задачи были около-kaggle формата (нужно получить лучший скор), но были наложены существенные ограничения по времени исполнения/моделям/подходам которые можно использовать, поэтому получилось уменьшить роль брутфорса и состязания "у кого больше видеокарт" и сделать больше акцента на знаниях и находчивости участников. В ML задаче нужно было создать лучшие фичи для небольшого DecisionTree. В NLP задаче нужно было зафайнтюнить mBERT для нового языка (при этом тексты на языке были зашифрованы). В CV задаче нужно было заставить miniSD всегда дорисовывать гидрант, если на картинке есть корова. В общем, прикольно и необычно 🙂
Финальный этап длился 8 часов, и на нем команде из 4 человек требовалось решить 3 задачи. Можно было использовать два ноутбука. Для ML это сложно, много времени уходит на то, чтобы войти в контекст задачи и подготовить бейзлайн решение. Тут мне понравилось, что целый месяц до финала проходил предварительный этап решения задач, где участникам выдали похожую задачу. Например, в CV задаче на дом нужно было заставить miniSD рисовать зебру на промт "жираф" и наоборот.
Конечно победа участников это также и победа тренеров (во всяком случае нам хочется так думать 🙂 - Александра Дьяконова @smalldatascience, Тани Гайнцевой @dl_stories, Димы Ульянова, команды ЦУ, ну и меня конечно 🙂
Трансляция награждения должна быть в 16 часов по Мск, ждем! https://www.youtube.com/live/UbU6BOzICqo
В этом году в финале участвовало 42 команды. От России поехала только наша, но от некоторых стран (США, Китай, Япония) было по несколько команд. Был большой разброс в степени подготовки: некоторые команды собирались буквально за месяц до финала, а некоторые начинали готовиться с начала весны. Изначальный уровень команд тоже был разный: в некоторых странах проходил полноценный отборочный этап, а в некоторых команды собирались без него из участников ICPC. Получилось так, что знания ML сильно отличались по командам (а одна даже была составлена из олимпиадников-лингвистов).
Задачи были около-kaggle формата (нужно получить лучший скор), но были наложены существенные ограничения по времени исполнения/моделям/подходам которые можно использовать, поэтому получилось уменьшить роль брутфорса и состязания "у кого больше видеокарт" и сделать больше акцента на знаниях и находчивости участников. В ML задаче нужно было создать лучшие фичи для небольшого DecisionTree. В NLP задаче нужно было зафайнтюнить mBERT для нового языка (при этом тексты на языке были зашифрованы). В CV задаче нужно было заставить miniSD всегда дорисовывать гидрант, если на картинке есть корова. В общем, прикольно и необычно 🙂
Финальный этап длился 8 часов, и на нем команде из 4 человек требовалось решить 3 задачи. Можно было использовать два ноутбука. Для ML это сложно, много времени уходит на то, чтобы войти в контекст задачи и подготовить бейзлайн решение. Тут мне понравилось, что целый месяц до финала проходил предварительный этап решения задач, где участникам выдали похожую задачу. Например, в CV задаче на дом нужно было заставить miniSD рисовать зебру на промт "жираф" и наоборот.
Конечно победа участников это также и победа тренеров (во всяком случае нам хочется так думать 🙂 - Александра Дьяконова @smalldatascience, Тани Гайнцевой @dl_stories, Димы Ульянова, команды ЦУ, ну и меня конечно 🙂
Трансляция награждения должна быть в 16 часов по Мск, ждем! https://www.youtube.com/live/UbU6BOzICqo
YouTube
International Olympiad in Artificial Intelligence (IOAI) 2024 Closing Ceremony
A live stream of the Closing Ceremony of the 1st International Olympiad in Artificial Intelligence, taking place in Burgas, Bulgaria on August 14th 2024.
Forwarded from tsymba❤️
Всем привет! На волне хайпа и по горячим следам написал про первый межнар по ИИ, который прошел в Болгарии буквально позавчера. Мне посчастливилось принимать участие в подготовке и организации; мой основной вклад состоял в разработке трети задач из научного раунда.
Куча постов ниже, а лонгрид — вот тут.
Куча постов ниже, а лонгрид — вот тут.
Telegraph
IOAI: a side story
Всем привет! На волне хайпа и по горячим следам написал про первый межнар по ИИ, который прошел в Болгарии буквально позавчера. Мне посчастливилось принимать участие в подготовке и организации; мой основной вклад состоял в разработке трети задач из научного…
У меня шок. Оказывается книжку Гельфанда-Манина по гомологической алгебре, про производные категории, написал не Израиль Моисеевич! Гельфанд -- это Сергей Израилевич, сын Израиля Моисеевича.
Постфактум это кажется естественным, ИМ ведь сам не особенно занимался гомологической алгеброй.
К счастью Манин тот же, Юрий Иванович 😅
Постфактум это кажется естественным, ИМ ведь сам не особенно занимался гомологической алгеброй.
К счастью Манин тот же, Юрий Иванович 😅
Forwarded from Ordo Nexus
😰 Libgen Issues Intensify 😰
For the past week, LibGen has reportedly been unavailable for many users, according to TorrentFreak and r/LibGen. Recently, there was a message on the forum mentioning that key members of LibGen were unable to participate in LibGen activities for an indefinite period of time. Without any signs from the maintainers, the future of LibGen remains unclear
Grown in lands where the battle between the desire for unconstrained access to readings and censorship pressure has lasted for centuries, LibGen was a beacon of free access in the times of digital leviathan dictating what you should read and think.
I have my fingers crossed for LibGen and for their librarians whose efforts have built a generation that does not respect and fear unnatural borders in spreading knowledge.
For the past week, LibGen has reportedly been unavailable for many users, according to TorrentFreak and r/LibGen. Recently, there was a message on the forum mentioning that key members of LibGen were unable to participate in LibGen activities for an indefinite period of time. Without any signs from the maintainers, the future of LibGen remains unclear
Grown in lands where the battle between the desire for unconstrained access to readings and censorship pressure has lasted for centuries, LibGen was a beacon of free access in the times of digital leviathan dictating what you should read and think.
I have my fingers crossed for LibGen and for their librarians whose efforts have built a generation that does not respect and fear unnatural borders in spreading knowledge.
Torrentfreak
Popular Shadow Library 'LibGen' Breaks Down Amidst Legal Troubles (Updated) * TorrentFreak
Popular shadow library LibGen appears to be struggling with technical problems. Regular book downloads stopped working last weekend.
Forwarded from Авва
Дима Каледин, математик (старожилы русского интернета могут знать его имя по старому ЖЖ), опубликовал 600-страничную статью , в которой описывает новый подход к абстрактной теории гомотопии, над которым он работал много лет. Он предлагает этот подход в качестве альтернативы популярной в последние 20 лет теории категорий бесконечных порядков Джейкоба Лурье.
Я совершенно некомпетентен в этих вопросах и не имею собственного мнения о работе Каледина (или о школе Лурье), но должен сказать, что первые 40 страниц статьи Каледина - введение - прочел с огромным интересом; что-то понял, другое пропустил, и все равно интересно. Рекомендую.
Очень понравились слова Каледина о силе нарратива, это что-то, в чем я неоднократно убеждаюсь в своей жизни и своих мыслях снова и снова:
"I still remember a talk in Tokyo, in 2008, after which a prominent algebraic geometer came to me and said something like this: “I liked your talk; of course, the last thing the world needs are new foundations for homological algebra, but at least, there was a story”. This was one of the best pieces of advice I ever had: no matter what you do, people will listen if there is a story."
Антон Капустин, у которого я прочитал об этой работе, тоже хвалит ее введение и замечает, что хорошо бы кто-то выпустил книгу, состоящую только из особенно хороших предисловий к математическим статьям или книгам. Да, такое я бы с удовольствием почитал.
Я совершенно некомпетентен в этих вопросах и не имею собственного мнения о работе Каледина (или о школе Лурье), но должен сказать, что первые 40 страниц статьи Каледина - введение - прочел с огромным интересом; что-то понял, другое пропустил, и все равно интересно. Рекомендую.
Очень понравились слова Каледина о силе нарратива, это что-то, в чем я неоднократно убеждаюсь в своей жизни и своих мыслях снова и снова:
"I still remember a talk in Tokyo, in 2008, after which a prominent algebraic geometer came to me and said something like this: “I liked your talk; of course, the last thing the world needs are new foundations for homological algebra, but at least, there was a story”. This was one of the best pieces of advice I ever had: no matter what you do, people will listen if there is a story."
Антон Капустин, у которого я прочитал об этой работе, тоже хвалит ее введение и замечает, что хорошо бы кто-то выпустил книгу, состоящую только из особенно хороших предисловий к математическим статьям или книгам. Да, такое я бы с удовольствием почитал.
Мой новый любимый математик: Мерлин Христос. Защитил PhD в прошлом году в Гамбурге по высшим категориям, некоммутативной геометрии, теории представлений.
В его статьях ровно тот уровень сплетения разных областей математики, к которому я стремлюсь: всё от кластерных алгебр до превратных пучков, условий стабильности на триангулированных (или даже стабильных infinity) категориях и категорификаций всего и вся. Респект таким Мерлинам.
В его статьях ровно тот уровень сплетения разных областей математики, к которому я стремлюсь: всё от кластерных алгебр до превратных пучков, условий стабильности на триангулированных (или даже стабильных infinity) категориях и категорификаций всего и вся. Респект таким Мерлинам.
Forwarded from DLStories
В ноябре будет два года, как я на PhD в Queen Mary University of London. По этому поводу написала пост с моментами, на которые стоит обратить внимание, если вы задумываетесь над тем, чтобы сделать PhD в Лондоне/UK.
Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.
Пост
Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.
Пост
Teletype
PhD в Лондоне: важные моменты
В ноябре будет два года, как я на PhD в Queen Mary University of London. В этом посте опишу некоторые моменты, которые стоит учитывать...
Если вы, как и я, когда-то пытались и не смогли прочесть книгу Бейлинсона и Дринфельда про квантование систем Хитчина, специально для нас Паша Этингоф прочёл этим летом несколько лекций в Бимсе.
Интегрируемые системы, аффинные алгебры Ли, геометрия пространств модулей, стэки, квантования, и, ultimately, геометрическая программа Ленглендса -- словом, всё самое интересное в математике на шестидесяти страницах популярных лекций🔥🔥🔥
Интегрируемые системы, аффинные алгебры Ли, геометрия пространств модулей, стэки, квантования, и, ultimately, геометрическая программа Ленглендса -- словом, всё самое интересное в математике на шестидесяти страницах популярных лекций🔥🔥🔥
Fonctions-faisceaux dictionary
Пусть f -- гладкая функция на многообразии X.
С ней можно делать всякое:
складывать и умножать на другие функции,
пуллбекать,
интегрировать,
существует дифференциал df.
Функции определены локально и у них есть носитель.
Функционалы между пространствами функций можно задавать ядерными интегральными операторами.
Всё это имеет место и для пучков абелевых групп на X.
А именно:
можно брать прямую сумму и тензорное произведение,
пуллбекать,
пушфорвардить (можно с компактными носителями),
есть класс Атии в Ext^1(F, F ⊗ Ω_X).
Пучки тоже локальные, у них есть носитель, и функторы между категориями пучков можно задавать ядерными преобразованиеми Фурье-Мукаи.
Это не случайно. Существует соответствие Гротендика между пучками и функциями, так что по пучку можно построить функцию, а по функции -- пучок. Правда, работает оно лишь для l-адических пучков для X определённого над 𝔽_q, и не работает для обычных комплексных многообразий. Так что в характеристике ноль нам остаётся только вдохновляться пучками при работе с функциями и наоборот.
Ключевые слова: fonctions-faisceaux correspondence использует в одну сторону след эндоморфизма Фробениуса, а в другую -- изогению Ленга. Оно используется на практике, например, для геометрической теории полей классов (про которую я уже давно хочу написать) и в старшем ранге для соответствия Ленглендса.
Пусть f -- гладкая функция на многообразии X.
С ней можно делать всякое:
складывать и умножать на другие функции,
пуллбекать,
интегрировать,
существует дифференциал df.
Функции определены локально и у них есть носитель.
Функционалы между пространствами функций можно задавать ядерными интегральными операторами.
Всё это имеет место и для пучков абелевых групп на X.
А именно:
можно брать прямую сумму и тензорное произведение,
пуллбекать,
пушфорвардить (можно с компактными носителями),
есть класс Атии в Ext^1(F, F ⊗ Ω_X).
Пучки тоже локальные, у них есть носитель, и функторы между категориями пучков можно задавать ядерными преобразованиеми Фурье-Мукаи.
Это не случайно. Существует соответствие Гротендика между пучками и функциями, так что по пучку можно построить функцию, а по функции -- пучок. Правда, работает оно лишь для l-адических пучков для X определённого над 𝔽_q, и не работает для обычных комплексных многообразий. Так что в характеристике ноль нам остаётся только вдохновляться пучками при работе с функциями и наоборот.
Ключевые слова: fonctions-faisceaux correspondence использует в одну сторону след эндоморфизма Фробениуса, а в другую -- изогению Ленга. Оно используется на практике, например, для геометрической теории полей классов (про которую я уже давно хочу написать) и в старшем ранге для соответствия Ленглендса.