3-е место на сореве AI Journey
Сказать, что я удивлен - ничего не сказать)
Соревнование состояло в построении бота-ассистента в интернет-магазине, который умеет и говорить, и искать товары по базе. С прошлого раза мне удалось сделать новое решение, которое вывело меня на 3-е место лидерборда.
Но в моем решении была тонкость - я не мог воспроизвести скор повторной отправкой того же кода 😅 Поэтому я считал, что это случайность. Я какое-то время пытался улучшить решение, но фичи, которые субъективно улучшали работу бота, плохо влияли на скор. Я перестал активно решать соревнование и думал, что все меня уже обошли.
На сорев наложилось то, что в какой-то момент обновилась модель Гигачата и проверочная система стала выдавать очень низкие скоры) Может быть это демотивировало участников и поэтому они перестали решать.
Соревнование завершилось 28 октября, организаторы ушли подводить результаты, и я уже успел про все это забыть. А тут меня друг поздравляет с успехом 😅
Сказать, что я удивлен - ничего не сказать)
Соревнование состояло в построении бота-ассистента в интернет-магазине, который умеет и говорить, и искать товары по базе. С прошлого раза мне удалось сделать новое решение, которое вывело меня на 3-е место лидерборда.
Но в моем решении была тонкость - я не мог воспроизвести скор повторной отправкой того же кода 😅 Поэтому я считал, что это случайность. Я какое-то время пытался улучшить решение, но фичи, которые субъективно улучшали работу бота, плохо влияли на скор. Я перестал активно решать соревнование и думал, что все меня уже обошли.
На сорев наложилось то, что в какой-то момент обновилась модель Гигачата и проверочная система стала выдавать очень низкие скоры) Может быть это демотивировало участников и поэтому они перестали решать.
Соревнование завершилось 28 октября, организаторы ушли подводить результаты, и я уже успел про все это забыть. А тут меня друг поздравляет с успехом 😅
По свежей памяти написал о решении соревнования заметку на Хабр. В ней полученные инсайты о работе с LLM и RAG пайплайнами 🙂
https://habr.com/ru/articles/859830/
https://habr.com/ru/articles/859830/
Хабр
Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant
Я занимаюсь классическим ML, как это теперь принято называть. Делаю продвижение в поиске и рекомендациях Авито (и еще пишу в канал Big Ledovsky ). Работа, признаюсь, интересная, и очень мне нравится....
Senior Data Scientist vs Senior крановщик
Вчера читал один пост про то, что ИТ-шники больше не "элита", а новый рабочий класс👨💻 . И что сварщики и крановщики теперь получают очень много, и это они - новая "элита". Но при этом у них после смены чиста-голова, и вообще меньше стресса.
Вайб поста мне очень зашел. Но по сути все обстоит не совсем так. Автор очевидно вкладывал в пост долю шутки, но я вот задумался.
Во-первых, ИТ не элита, потому что никогда не был путем, чтобы стать богатым и успешным. Консалтинг, инвестиционный банкинг, свой бизнес,работа недалеко от бюджета 🍿 , классическая корпоративная карьера, но не ИТ. Даже стартапы выглядят как сомнительный способ стать богатым. ИТ всегда был про комфорт, свободу 🗽 и социальные лифты.
Во-вторых, инженерная работа - это не работа руками. Наверняка, у читателей канала был разный опыт работы и они подтвердят. Я в начале своей карьеры поработал в операционном консалтинге Ernst and Young и около полутора лет ездил в долгие командировки на металлургические заводы. Завод это: жесткая практически армейская дисциплина, ночные смены, холод или жара в цеху, часто монотонная работа. Еще на вас периодически орут матом.
А в ИТ вы просыпаетесь в 10-25 за 5 минут до дейлика (я так очень редко делаю, но бывает 😅) и завариваете себе латте с адаптогенами☕ (а вот это делаю регулярно, перешел на фирму re-feel с обычного кофе). Одна девушка в комментариях написала замечательную аналогию, что ИТ-шник живет как раньше могли себе позволить жить художники и писатели.
Я искренне ценю тот образ жизни, который мне доступен. И сейчас собираюсь в путешествие на месяц, вдохновляясь друзьями-номадами и русской литературой (хотя в русской литературе герои подолгу путешествовали по Кавказу, а не там, куда я еду. но я про вайб). Об этом расскажу в следующий раз.
#lifestyle
Вчера читал один пост про то, что ИТ-шники больше не "элита", а новый рабочий класс
Вайб поста мне очень зашел. Но по сути все обстоит не совсем так. Автор очевидно вкладывал в пост долю шутки, но я вот задумался.
Во-первых, ИТ не элита, потому что никогда не был путем, чтобы стать богатым и успешным. Консалтинг, инвестиционный банкинг, свой бизнес,
Во-вторых, инженерная работа - это не работа руками. Наверняка, у читателей канала был разный опыт работы и они подтвердят. Я в начале своей карьеры поработал в операционном консалтинге Ernst and Young и около полутора лет ездил в долгие командировки на металлургические заводы. Завод это: жесткая практически армейская дисциплина, ночные смены, холод или жара в цеху, часто монотонная работа. Еще на вас периодически орут матом.
А в ИТ вы просыпаетесь в 10-25 за 5 минут до дейлика (я так очень редко делаю, но бывает 😅) и завариваете себе латте с адаптогенами
Я искренне ценю тот образ жизни, который мне доступен. И сейчас собираюсь в путешествие на месяц, вдохновляясь друзьями-номадами и русской литературой (хотя в русской литературе герои подолгу путешествовали по Кавказу, а не там, куда я еду. но я про вайб). Об этом расскажу в следующий раз.
#lifestyle
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Средненький продакт | Антон Тарасов
Наташа, просыпайся, ты уже давно не элита!
Есть такое поверье, что айтишники -- это какая-то особая каста, элита, у них есть макбук, смузи и большая зарплата.
Да, приходится местами торговать жопой и принципами, много работать, выгорать и пить антидепрессанты.…
Есть такое поверье, что айтишники -- это какая-то особая каста, элита, у них есть макбук, смузи и большая зарплата.
Да, приходится местами торговать жопой и принципами, много работать, выгорать и пить антидепрессанты.…
Где больше стресса?
Anonymous Poll
54%
Работа в крупных компаниях/в ИТ
46%
Работа востребованным рабочим на заводе
Месяц номадства
Идея, что мне нужно куда-нибудь поехать номадом родилась на Смене в прошлый Новый год. Половина из участников нашего заезда были номадами, не жили долго на одном месте и постоянно перемещались. В тот момент сама Смена дала мне палитру новых мыслей, а номадская поездка вообще представлялась чем-то выходящим за границы.
Что номадство лично для меня
- Жить в естественной среде, а не отеле-загоне. Постараться, чтобы номадство не было туризмом
- Приспосабливаться к новым условиям
- Успевать и работать, и изучать новое место, и заводить знакомых
Я даже поставил цель на год, что куда-нибудь съезжу в таком стиле. Однако время шло, год начал близиться к концу, и казалось, что уже не получится. Но неожиданно все как-то сложилось и я собрался на месяц в Тайланд.
В общем в выходные я добрался до Бангкока, живу тут у друзей и планирую следующие перемещения. В Бангкоке точно задержусь. Многие говорили мне, что им там не понравилось. Но на самом деле Бангкок сильно отличается от района к району, и туристу сложно увидеть жизнь с другой стороны. Чтобы тут жить нужен скилл, но он вознаграждается удивительным опытом.
#lifestyle
Идея, что мне нужно куда-нибудь поехать номадом родилась на Смене в прошлый Новый год. Половина из участников нашего заезда были номадами, не жили долго на одном месте и постоянно перемещались. В тот момент сама Смена дала мне палитру новых мыслей, а номадская поездка вообще представлялась чем-то выходящим за границы.
Что номадство лично для меня
- Жить в естественной среде, а не отеле-загоне. Постараться, чтобы номадство не было туризмом
- Приспосабливаться к новым условиям
- Успевать и работать, и изучать новое место, и заводить знакомых
Я даже поставил цель на год, что куда-нибудь съезжу в таком стиле. Однако время шло, год начал близиться к концу, и казалось, что уже не получится. Но неожиданно все как-то сложилось и я собрался на месяц в Тайланд.
В общем в выходные я добрался до Бангкока, живу тут у друзей и планирую следующие перемещения. В Бангкоке точно задержусь. Многие говорили мне, что им там не понравилось. Но на самом деле Бангкок сильно отличается от района к району, и туристу сложно увидеть жизнь с другой стороны. Чтобы тут жить нужен скилл, но он вознаграждается удивительным опытом.
#lifestyle
2 декабря стартует курс по АБ от Паши и Андрея
Хочу порекомендовать курс по АБ-тестам, которые делают мои друзья (и товарищи по походам 🙂) Паша Бухтик и Андрей Кунцевич.
Знания по АБ-тестам так нужны в работе, а получить их непросто. Ребята делают хорошее дело, создав специализированный курс. Сейчас запускается уже 2-й поток.
В курсе 12 онлайн-лекций, 12 занятий в мини-группах, материалы, домашки с индивидуальной ОС и активное комьюнити
🔗 Узнать подробнее и оставить заявку
http://nodatanogrowth.com/product-analyst-ab-testing
Хочу порекомендовать курс по АБ-тестам, которые делают мои друзья (и товарищи по походам 🙂) Паша Бухтик и Андрей Кунцевич.
Знания по АБ-тестам так нужны в работе, а получить их непросто. Ребята делают хорошее дело, создав специализированный курс. Сейчас запускается уже 2-й поток.
В курсе 12 онлайн-лекций, 12 занятий в мини-группах, материалы, домашки с индивидуальной ОС и активное комьюнити
🔗 Узнать подробнее и оставить заявку
http://nodatanogrowth.com/product-analyst-ab-testing
Nodatanogrowth
Онлайн-курс по АБ-тестам и проверке гипотез для продуктовых аналитиков
Систематизируй знания по АБ в четкую методологию, преврати знания в навыки и карьерные достижения!
2 года DS лидом Авито. Часть 1. Продукт
Вчера была моя вторая годовщина в Авито. Хочу поделиться как прошел год. А вы можете примерить на себя мой опыт, или просто почитать из любопытства.
Рассказ будет состоять из двух частей: продуктовой (бизнесовой) и технологической. Начну с продукта.
Мне повезло, что каждый год я участвовал в серьезном продуктовом запуске🤑 . В 2023 это был запуск продвижения за бюджет. В этом году это продвижение за повышенную цену клика в товарах. Моя роль в этих продуктах была разработка алгоритмов.
Быть в центре больших запусков - это не передать словами. Очень эмоциональная штука. Вы довольно долго что-то делаете, каждый выкладывается в своей части, долго приходится гонять технические тесты, а затем.. идет раскатка теста на пользователей. 1%, затем 10%, а затем после подведения итогов теста идет раскатка на всех..
Все это время вы🙏
💎 В общем, если у вас такого опыта не было, но откликается то, что я написал, то обязательно попробуйте. Нужно будет хорошо искать проект, команду и компанию, но опыт вы получите бесценный. Ну или приходите к нам 🙂
#worklife
🔜 Читайте также
Год в Авито
Пост когда я переходил в Авито
Мои сильные и слабые стороны
Вчера была моя вторая годовщина в Авито. Хочу поделиться как прошел год. А вы можете примерить на себя мой опыт, или просто почитать из любопытства.
Рассказ будет состоять из двух частей: продуктовой (бизнесовой) и технологической. Начну с продукта.
Мне повезло, что каждый год я участвовал в серьезном продуктовом запуске
Быть в центре больших запусков - это не передать словами. Очень эмоциональная штука. Вы довольно долго что-то делаете, каждый выкладывается в своей части, долго приходится гонять технические тесты, а затем.. идет раскатка теста на пользователей. 1%, затем 10%, а затем после подведения итогов теста идет раскатка на всех..
Все это время вы
#worklife
Год в Авито
Пост когда я переходил в Авито
Мои сильные и слабые стороны
Please open Telegram to view this post
VIEW IN TELEGRAM
2 года в роли DS-лида в Авито. Часть 2: Технологии
Эта часть про то, чего удалось добиться нашей команде за год в области алгоритмов и моделей. Расскажу о том, что дошло до публичных выступлений и что можно поделиться открыто.
Ранжирование: от эвристик к ожидаемой выручке
Одним из главных успехов команды стало обновление подхода к ранжированию. Мы отключили множество устаревших механик и добавили учет ожидаемой выручки от показа как фактор ранжирования. Это помогло найти более оптимальный баланс между пользовательским качеством и монетизацией.
На мой взгляд, мы сделали действительно сильное решение. Многие компании используют эвристики, например, умножение скора платного товара в поиске на коэффициент. В таких системах сложно управлять эластичностью эффекта от продвижения и добиваться предсказуемых результатов. Наше решение оказалось более гибким и предсказуемым. На эту тему был доклад Ромы Логинова и Даши Ситовой на Матемаркетинге, но, к сожалению, он пока не доступен публично.
CTR-модели и автобиддинг: трансформация подхода
Мы активно развивали модели вероятности клика (CTR) и систему автобиддинга. Год назад я написал новый алгоритм автобиддинга, который стал основой для перестройки всей системы. Сейчас от моего кода уже мало что осталось — команда его серьезно улучшила. И не зря: автобиддинг стал частью продвижения с повышенной ставкой на этапе запуска нового продукта.
С CTR-моделями было сложнее: я углубился в проблему оффлайн-метрик. Это оказалось вызовом, потребовало изучения научных статей и привело к докладу на DataFest. Новые метрики дали хорошие результаты в тестах, но полностью предсказывать рост продуктовых метрик за счет CTR-моделей нам пока сложно. Мы сейчас накапливаем базу завершенных A/B-тестов, чтобы использовать её для выбора более качественных оффлайн-метрик.
Эксперименты: инновационный подход к тестированию
Мы много работали над улучшением экспериментов. Удачным решением стали сплит-тесты, где бюджет на продвижение делится на две части для сравнения друг с другом. Об этом подробно рассказывал Антон Семенистый.
Итоги года и планы на будущее
Год получился насыщенным. Я горжусь результатами и тем, как работает наша команда. В следующем году планирую реализовать несколько новых технических проектов, которые станут шагом вперед как с точки зрения технологий, так и метрик. Посмотрим, что получится!
P.S. Написав этот пост, я решил попросить ChatGPT его улучшить. К моему удивлению, он внес совсем немного правок: слегка упростил сложные фразы, добавил заголовки и сделал текст чуть более структурированным. Как вам результат? Заметна ли обработка? Поменялся ли стиль в лучшую сторону?
#worklife
Эта часть про то, чего удалось добиться нашей команде за год в области алгоритмов и моделей. Расскажу о том, что дошло до публичных выступлений и что можно поделиться открыто.
Ранжирование: от эвристик к ожидаемой выручке
Одним из главных успехов команды стало обновление подхода к ранжированию. Мы отключили множество устаревших механик и добавили учет ожидаемой выручки от показа как фактор ранжирования. Это помогло найти более оптимальный баланс между пользовательским качеством и монетизацией.
На мой взгляд, мы сделали действительно сильное решение. Многие компании используют эвристики, например, умножение скора платного товара в поиске на коэффициент. В таких системах сложно управлять эластичностью эффекта от продвижения и добиваться предсказуемых результатов. Наше решение оказалось более гибким и предсказуемым. На эту тему был доклад Ромы Логинова и Даши Ситовой на Матемаркетинге, но, к сожалению, он пока не доступен публично.
CTR-модели и автобиддинг: трансформация подхода
Мы активно развивали модели вероятности клика (CTR) и систему автобиддинга. Год назад я написал новый алгоритм автобиддинга, который стал основой для перестройки всей системы. Сейчас от моего кода уже мало что осталось — команда его серьезно улучшила. И не зря: автобиддинг стал частью продвижения с повышенной ставкой на этапе запуска нового продукта.
С CTR-моделями было сложнее: я углубился в проблему оффлайн-метрик. Это оказалось вызовом, потребовало изучения научных статей и привело к докладу на DataFest. Новые метрики дали хорошие результаты в тестах, но полностью предсказывать рост продуктовых метрик за счет CTR-моделей нам пока сложно. Мы сейчас накапливаем базу завершенных A/B-тестов, чтобы использовать её для выбора более качественных оффлайн-метрик.
Эксперименты: инновационный подход к тестированию
Мы много работали над улучшением экспериментов. Удачным решением стали сплит-тесты, где бюджет на продвижение делится на две части для сравнения друг с другом. Об этом подробно рассказывал Антон Семенистый.
Итоги года и планы на будущее
Год получился насыщенным. Я горжусь результатами и тем, как работает наша команда. В следующем году планирую реализовать несколько новых технических проектов, которые станут шагом вперед как с точки зрения технологий, так и метрик. Посмотрим, что получится!
P.S. Написав этот пост, я решил попросить ChatGPT его улучшить. К моему удивлению, он внес совсем немного правок: слегка упростил сложные фразы, добавил заголовки и сделал текст чуть более структурированным. Как вам результат? Заметна ли обработка? Поменялся ли стиль в лучшую сторону?
#worklife
Про AI Journey
Подключился на AIJ на награждение победителей соревнований этого года. Мое мнение, что конференция получилась удачная, просто ориентированная на менеджеров. Лично я нашел и посмотрел несколько годных докладов по онлайн-ритейлу, которые могу порекомендовать
Эволюция умных помощников в Авито - Обзорный доклад от Андрея Рыбинцева, биг босса нашего AI и моего старшего руководителя. Как работают подсказки категории, цены, ответов и много другое. Все кейсы с аплифтами метрик (Avito way 🤷♂️)
GenAI в маркетинге - Обзорный доклад от Rubbles. Там собраны кейсы разных компаний. И мне еще понравилось, как ребята делали генерацию изображений по дизайн-буку клиента.
Виртуальная примерка в Мегамаркете - Довольно подробный доклад с разбором архитектуры, релевантных статей и галюцинаций модели
PS. Сперва написал пост, но понял, что получилось токсично 😅 Типа конференция для менеджеров. Но тут нет на самом деле предосудительного ничего нет, фокус и правда не на инженеров. Сбер 💪
#worklife
Подключился на AIJ на награждение победителей соревнований этого года. Мое мнение, что конференция получилась удачная, просто ориентированная на менеджеров. Лично я нашел и посмотрел несколько годных докладов по онлайн-ритейлу, которые могу порекомендовать
Эволюция умных помощников в Авито - Обзорный доклад от Андрея Рыбинцева, биг босса нашего AI и моего старшего руководителя. Как работают подсказки категории, цены, ответов и много другое. Все кейсы с аплифтами метрик (Avito way 🤷♂️)
GenAI в маркетинге - Обзорный доклад от Rubbles. Там собраны кейсы разных компаний. И мне еще понравилось, как ребята делали генерацию изображений по дизайн-буку клиента.
Виртуальная примерка в Мегамаркете - Довольно подробный доклад с разбором архитектуры, релевантных статей и галюцинаций модели
PS. Сперва написал пост, но понял, что получилось токсично 😅 Типа конференция для менеджеров. Но тут нет на самом деле предосудительного ничего нет, фокус и правда не на инженеров. Сбер 💪
#worklife
Подборка фото и впечатлений из Бангкока
1. Вид из высотки в центре Бангкока. Вайб не сравнится с моим относительно тихим районом Thong Lor, хотя это всего 4 станции на метро.
2. Гигантский рынок Chatuchak. Конкретно на фото мы на барахолке. Но ребята говорят, что они тут слабоваты.
3. Самое жесткое, что я пока тут ел. Это гонгконгский ресторан из списка Bib gourmand. На фото мой рисовый кисель со свиной печенью на завтрак
4. Японские бани Onsen. В отличии от наших там греют ваннами, а не парными. И я хочу сказать, что пройти рекомендованный протокол было серьезным испытанием. В качестве одежды там всем выдают халаты, поэтому вы ходите все одинаковые (с точностью до принта 🙂)
5. С Мишей и Андреем жарим корейский BBQ🔥 Медитативное такое занятие. Сидите себе, кладете потихоньку эти кусочки мяса на жаровню и переворачиваете
#lifestyle
1. Вид из высотки в центре Бангкока. Вайб не сравнится с моим относительно тихим районом Thong Lor, хотя это всего 4 станции на метро.
2. Гигантский рынок Chatuchak. Конкретно на фото мы на барахолке. Но ребята говорят, что они тут слабоваты.
3. Самое жесткое, что я пока тут ел. Это гонгконгский ресторан из списка Bib gourmand. На фото мой рисовый кисель со свиной печенью на завтрак
4. Японские бани Onsen. В отличии от наших там греют ваннами, а не парными. И я хочу сказать, что пройти рекомендованный протокол было серьезным испытанием. В качестве одежды там всем выдают халаты, поэтому вы ходите все одинаковые (с точностью до принта 🙂)
5. С Мишей и Андреем жарим корейский BBQ
#lifestyle
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Обратные тесты или почему в Авито свернут блок похожих объявлений
Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.
Женя в статье раскрыл топ инсайт🔥 , который мне в свое время очень зашел. Возможно вы видели, что в Авито свернут блок похожих объявлений на карточке товара. Странно, да? Это не просто так сделано 🧠 Там на самом деле долгая история, за которой отправлю в первоисточник. Если кратко, то решение свернуть блок было принято после обратных тестов.
Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ
- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?
Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют😅
Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄
#tech
Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.
Женя в статье раскрыл топ инсайт
Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ
- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?
Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют
Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄
#tech
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Avito Data Tech
Всем привет. Меня зовут Женя Чумаченко. Я отвечаю за аналитику в поиске и рекомендациях, расширяю рекомендации на другие пути CJM пользователей. Помогаю улучшить опыт покупателей, сделать их успешней и счастливей.
В этой статье я расскажу вам историю, как…
В этой статье я расскажу вам историю, как…