Мы начинаем готовиться к межнару по AI в 2025 году сильно заранее (надеюсь это не скажется на результатах! 🙃) и вместо ребят из Летово, которые взяли в этом году первое место (кстати, на сайте олимпиады наконец появились результаты, где видно как далеко от всех они оторвались), от России будет выступать сборная, в которую можно отобраться всем школьникам. Один из способов попасть на отбор на межнар - попасть на заключительный этап Всероса по ИИ. Регистрация открыта еще неделю, так что если вы хотели поучаствовать - регистрируйтесь! Буду рад увидеть вас на подготовке к межнару 💖

Два месяца с последнего поста вышли достаточно насыщенными. Мы готовим к запуску в ЦУ курсы по Production ML (хотел назвать "Инструменты ML-инженера", но короткое название победило) и ML System Design (учимся решать бизнес задачи с помощью машинки). Продолжается наш студенческий кружок по Kaggle по четвергам и воскресеньям. Придумываются автоматические грейдеры для ML курсов (юнит-тесты и проверка текстовых заданий ллмками). Ну и в целом в универе неожиданно для меня оказалось очень много всего 🐤

Ну и конечно продолжаем работать над курсом для школьников, который должен подготовить их к межнару. Мы попытались уместить весь ML который может встретится на олимпиаде в три месяца, но не смогли, пришлось добавить еще неделю:)

В курсе будет три блока: классика, CV и NLP. Темы - от поиска ликов в соревнованиях до трансформеров и мультимодальности. Получается как будто достаточно жестко, но должно покрыть все темы, с которыми можно будет столкнуться в следующем году 🐼

Часть команды курса уже готовила команду к межнару в прошлом году и часть преподавателей будет новая:) В команде Kaggle Grandmasterы, рисерчеры из российского бигтеха и топовых университетов зарубежом.

На курс приглашены финалисты Всероса по ИИ и нескольких других олимпиад, в том числе AIJ (я все еще жду финальный список, про который смогу всем рассказать). После курса мы проведем отборочный этап, чтобы определить команду, которая поедет на межнар. Ну и затем - еще более сложные тренировки и решение домашней части олимпиады 💖

Мне нравится то, что у нас получается, и особенно здорово, что этот курс будет полезен не только для команды на межнар, но и для всех остальных школьников, которые на него придут. Надеюсь всем участникам тоже понравится:) Поближе к запуску буду делиться новыми деталями.

Для курса подготовки школьников к межнару решил попробовать собрать два соревнования не сам, а используя o1-pro. В обоих соревнованиях я хотел получить скрипт, который сгенерирует мне train, test, sample_submission, solution - все, что нужно, чтобы завести кегл соревнование. Процесс получился достаточно любопытным, поэтому я решил поделиться своими наблюдениями.

Первым я собирал соревнование на семинар по ML метрикам и константным решениям. Есть класс задач, где можно получить хорошее качество и без обучения моделей - обычно это относится к периодическим паттернам (прогноз погоды на пару месяцев вперед) или к задачам с огромным количеством категорий (прогноз CTR в google ads). На практике это редко заменяет ML модель, но может служить неплохой фичей.

У меня было хорошее понимание что я хочу получить, я постарался максимально ясно и коротко его объяснить, закинул в чатгпт и попросил его задать мне уточняющие вопросы (это оказалось хорошей идеей и сильно помогло 🐥). В итоге какой-то скрипт, который мне понравился, появился буквально в течении получаса, но вот потом пришлось очень много итерироваться, смотря на результат или читая код. Тут хорошей идеей было попросить напечатать качество моделей и порисовать графики, чтобы я мог проверить наличие закономерностей, которые хотел получить.

С некоторыми штуками у нас так и не получилось справиться - после 3-4 попыток объяснить ему, чего я хочу, приходилось лезть в код исправлять самому. Потом этот код закидывался обратно и с ним вполне получалось работать дальше. Тут пожалуй приведу два примера. Первый: когда я хотел получить некоторую закономерность, формулы которой я сам явно не понимал, додумать мою мысль у чатгпт не получалось. Второй: в какой-то момент был сгенерирован очень долгий и странный расчет статистического бейзлайна, который никак не получалось исправить с помощью наводящих вопросов, и в итоге я за несколько минут переписал его через один групбай. 🐼

Вывод тут хочется сделать такой, что у o1-pro хорошо получается выполнять задачи, которые хорошо и однозначно формулируются. Как будто чатгпт не хватало "умения" распознать возникающую проблему и задать правильный вопрос в нужное время: мне кажется, если бы это был не чатгпт, а какой-нибудь другой кеглер или млщик, то он бы сказал, что ничего не понял и нужно дообъяснить. (Думаю, мне тут самому стоило напомнить чатгпт, что она может задавать мне вопросы, если есть существенная неопределенность задачи).

Еще несколько раз встречалась ситуация, когда у чатгпт как будто не хватало "насмотренности". Например, когда я попросил его посчитать качество статистического прогноза, то он решил просто отфильтровать строчки, где прогноз был NaN 😅 Еще был такой забавный: когда я сказал, что качество бейзлайна слишком хорошее и попросил его ухудшить, чатгпт просто удалил часть колонок из датафрейма базовой модели 👌 конечно я имел в виду, что нужно сделать зависимость между данными и таргетом более случайной, данные ведь синтетические. Тут видно, что пытаясь удовлетворить запросу формально, был упущен важный контекст (это будет соревнование и участники в качестве бейзлайна ну уж точно догадаются отдать в катбуст все фичи).

Приятно удивила меня работа с ошибками - когда у меня вываливалась какая-то ошибка при выполнении кода и я скидывал лог, о1-pro почти всегда фиксил ее правильно (но зато когда ее не получалось пофиксить, то не получалось на протяжении 3-4 итераций и потом я уже забивал и шел фиксить все руками 🐤). Здесь думаю, что могла бы помочь среда исполнения, в которой агент мог бы сам итерироваться, но для o1-pro такая пока недоступна. Некоторые ошибки были достаточно хитрыми, и тут бы явно понадобился какой-то дебаг, а не просто "выполнить и посмотреть на конечный результат".

Еще один важный момент, что размышления о1-pro у меня длились достаточно долго (от 1 до 6 минут). С одной стороны, удобно: дал задачу и можешь пойти чай налить или сделать что-то по дому; с другой стороны, долго: когда я устал добиваться текстом каких-то ньюансов решения, стало проще погрузиться в код и самому пофиксить. В конце еще заметил и то, что время от времени чатгпт стал терять некоторые кусочки кода и допускать новые ошибки в старом коде при выполнении новых инструкций (правда, скрипт, которым он оперировал в этот момент уже был длиной в 300 строк).

Опыт с созданием первого соревнования показался мне достаточно любопытным (со вторым получилось тоже интересно, но я устал печатать а вы читать, так что как-нибудь в следующий раз). Кажется в сумме я потратил около 5-6 часов чистого времени, при этом это скорее хорошо: поскольку я не создаю kaggle соревнования каждый месяц, то без чатгпт у меня ушло бы раза в два больше времени. Но отдать разработку соревнования "на аутсорс" чатгпт тоже не вышло: в итоге мне пришлось разобраться во всем коде и прилично его поисправлять 😭. При этом сам "скелет" кода был написан прекрасно и сэкономил мне много времени. Получилась такая работа в паре, где один отвечал за видение конечного результата и доработку сложных кусков, а второй за набросок бойлерплейта и часть доработок по входящим запросам.

Теперь мне интересно, получился ли у кого-нибудь из школьников решить соревнование с чатгпт и что окажется быстрее сделать это самостоятельно:) Думаю, как и в создании соревнования здесь есть какой-то баланс, где чатгпт поможет тебе больше успеть и глубже разобраться, а не решить соревнование целиком. Ну это пока не вышла о3 или что там дальше) А так к следующему году эти соревнования может и придется переделывать)