Жизнь и датка

Для курса подготовки школьников к межнару решил попробовать собрать два соревнования не сам, а используя o1-pro. В обоих соревнованиях я хотел получить скрипт, который сгенерирует мне train, test, sample_submission, solution - все, что нужно, чтобы завести кегл соревнование. Процесс получился достаточно любопытным, поэтому я решил поделиться своими наблюдениями.

Первым я собирал соревнование на семинар по ML метрикам и константным решениям. Есть класс задач, где можно получить хорошее качество и без обучения моделей - обычно это относится к периодическим паттернам (прогноз погоды на пару месяцев вперед) или к задачам с огромным количеством категорий (прогноз CTR в google ads). На практике это редко заменяет ML модель, но может служить неплохой фичей.

У меня было хорошее понимание что я хочу получить, я постарался максимально ясно и коротко его объяснить, закинул в чатгпт и попросил его задать мне уточняющие вопросы (это оказалось хорошей идеей и сильно помогло 🐥). В итоге какой-то скрипт, который мне понравился, появился буквально в течении получаса, но вот потом пришлось очень много итерироваться, смотря на результат или читая код. Тут хорошей идеей было попросить напечатать качество моделей и порисовать графики, чтобы я мог проверить наличие закономерностей, которые хотел получить.

С некоторыми штуками у нас так и не получилось справиться - после 3-4 попыток объяснить ему, чего я хочу, приходилось лезть в код исправлять самому. Потом этот код закидывался обратно и с ним вполне получалось работать дальше. Тут пожалуй приведу два примера. Первый: когда я хотел получить некоторую закономерность, формулы которой я сам явно не понимал, додумать мою мысль у чатгпт не получалось. Второй: в какой-то момент был сгенерирован очень долгий и странный расчет статистического бейзлайна, который никак не получалось исправить с помощью наводящих вопросов, и в итоге я за несколько минут переписал его через один групбай. 🐼

Вывод тут хочется сделать такой, что у o1-pro хорошо получается выполнять задачи, которые хорошо и однозначно формулируются. Как будто чатгпт не хватало "умения" распознать возникающую проблему и задать правильный вопрос в нужное время: мне кажется, если бы это был не чатгпт, а какой-нибудь другой кеглер или млщик, то он бы сказал, что ничего не понял и нужно дообъяснить. (Думаю, мне тут самому стоило напомнить чатгпт, что она может задавать мне вопросы, если есть существенная неопределенность задачи).

Еще несколько раз встречалась ситуация, когда у чатгпт как будто не хватало "насмотренности". Например, когда я попросил его посчитать качество статистического прогноза, то он решил просто отфильтровать строчки, где прогноз был NaN 😅 Еще был такой забавный: когда я сказал, что качество бейзлайна слишком хорошее и попросил его ухудшить, чатгпт просто удалил часть колонок из датафрейма базовой модели 👌 конечно я имел в виду, что нужно сделать зависимость между данными и таргетом более случайной, данные ведь синтетические. Тут видно, что пытаясь удовлетворить запросу формально, был упущен важный контекст (это будет соревнование и участники в качестве бейзлайна ну уж точно догадаются отдать в катбуст все фичи).

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/ca/aguschin_ai.com/106

497 viewsAlexander Guschin, Jan 5 at 18:49

Для курса подготовки школьников к межнару решил попробовать собрать два соревнования не сам, а используя o1-pro. В обоих соревнованиях я хотел получить скрипт, который сгенерирует мне train, test, sample_submission, solution - все, что нужно, чтобы завести кегл соревнование. Процесс получился достаточно любопытным, поэтому я решил поделиться своими наблюдениями.

Первым я собирал соревнование на семинар по ML метрикам и константным решениям. Есть класс задач, где можно получить хорошее качество и без обучения моделей - обычно это относится к периодическим паттернам (прогноз погоды на пару месяцев вперед) или к задачам с огромным количеством категорий (прогноз CTR в google ads). На практике это редко заменяет ML модель, но может служить неплохой фичей.

У меня было хорошее понимание что я хочу получить, я постарался максимально ясно и коротко его объяснить, закинул в чатгпт и попросил его задать мне уточняющие вопросы (это оказалось хорошей идеей и сильно помогло 🐥). В итоге какой-то скрипт, который мне понравился, появился буквально в течении получаса, но вот потом пришлось очень много итерироваться, смотря на результат или читая код. Тут хорошей идеей было попросить напечатать качество моделей и порисовать графики, чтобы я мог проверить наличие закономерностей, которые хотел получить.

С некоторыми штуками у нас так и не получилось справиться - после 3-4 попыток объяснить ему, чего я хочу, приходилось лезть в код исправлять самому. Потом этот код закидывался обратно и с ним вполне получалось работать дальше. Тут пожалуй приведу два примера. Первый: когда я хотел получить некоторую закономерность, формулы которой я сам явно не понимал, додумать мою мысль у чатгпт не получалось. Второй: в какой-то момент был сгенерирован очень долгий и странный расчет статистического бейзлайна, который никак не получалось исправить с помощью наводящих вопросов, и в итоге я за несколько минут переписал его через один групбай. 🐼

Вывод тут хочется сделать такой, что у o1-pro хорошо получается выполнять задачи, которые хорошо и однозначно формулируются. Как будто чатгпт не хватало "умения" распознать возникающую проблему и задать правильный вопрос в нужное время: мне кажется, если бы это был не чатгпт, а какой-нибудь другой кеглер или млщик, то он бы сказал, что ничего не понял и нужно дообъяснить. (Думаю, мне тут самому стоило напомнить чатгпт, что она может задавать мне вопросы, если есть существенная неопределенность задачи).

Еще несколько раз встречалась ситуация, когда у чатгпт как будто не хватало "насмотренности". Например, когда я попросил его посчитать качество статистического прогноза, то он решил просто отфильтровать строчки, где прогноз был NaN 😅 Еще был такой забавный: когда я сказал, что качество бейзлайна слишком хорошее и попросил его ухудшить, чатгпт просто удалил часть колонок из датафрейма базовой модели 👌 конечно я имел в виду, что нужно сделать зависимость между данными и таргетом более случайной, данные ведь синтетические. Тут видно, что пытаясь удовлетворить запросу формально, был упущен важный контекст (это будет соревнование и участники в качестве бейзлайна ну уж точно догадаются отдать в катбуст все фичи).