Мой сетап MacOS
Давно хотел поделиться, как у меня настроено рабочее место и компьютер в целом. Недавно обсуждали, важно или не важно, в чем ты пишешь код, какой браузер используешь итд. Была высказана мысль, что можно работать на стоковых инструментах. В конечном счете, ты больше читаешь код, чем пишешь. Тут еще появились ChatGPT. А DS вообще обычно запускает модель и уходит пить чай. Но я вот считаю, что все-таки нужно оптимизировать среду.
Конечная цель оптимизаций - сократить задержку между появлением мысли в голове и ее воплощением на компьютере. В целом, про полный сетап всех инструментов можно и лонгрид написать. Но наиболее применимо ко всем - это то, как у меня настроен мак.
Я пользуюсь одним рабочим столом. Не люблю листать четырьмя пальцами влево-вправо в поиске нужного экрана. Знаю одного человека, у которого открыто 10 рабочих столов👨💻 . Мне кажется это не очень удобным. Что я сделал
- Переопределил
- Скрыл док, чтобы он поднимался только когда я навожу мышку
- Заменил spotlight на raycast, поставил шорткат на
- Приложения я открываю через текстовый поиск в raycast
- Для переключения между саджестами в raycast использую
- Между последними приложениями переключаюсь через
- Переключение языка держу на
- Настроил шорткат
- Все окна максимизирую на весь экран (но не в полноэкранный режим). Даже на большом мониторе. Чтобы не расфокусироваться
В качестве браузера я использую Arc Browser. Он отображает открытые вкладки слева, а не сверху, увеличивая полезную площадь. Чтобы не использовать мышку, я настроил в raycast шорткаты
-
-
В самом Arc тоже кое-что поднастроил
- Добавил шорткаты на поиск по некоторым важным сайтам (например, по гиту)
- Поставил плагин, который по
- Ну и еще использую Vimium плагин, который позволяет без мышки переходить по ссылкам и добавляет Vim шорткаты (см. скриншот)
Для переключениями между вкладками почти во всех приложениях использую стоковые маковские шорткаты
Активно пользуюсь скриншотами. Переопределил их на
Вот такой сетап. Забирайте!🔥
Если будут вопросы, спрашиваете, могу рассказать более детально
🔜 Читайте также
Гайд по ведению заметок в LogSeq
#productivity@big_ledovsky
Давно хотел поделиться, как у меня настроено рабочее место и компьютер в целом. Недавно обсуждали, важно или не важно, в чем ты пишешь код, какой браузер используешь итд. Была высказана мысль, что можно работать на стоковых инструментах. В конечном счете, ты больше читаешь код, чем пишешь. Тут еще появились ChatGPT. А DS вообще обычно запускает модель и уходит пить чай. Но я вот считаю, что все-таки нужно оптимизировать среду.
Конечная цель оптимизаций - сократить задержку между появлением мысли в голове и ее воплощением на компьютере. В целом, про полный сетап всех инструментов можно и лонгрид написать. Но наиболее применимо ко всем - это то, как у меня настроен мак.
Я пользуюсь одним рабочим столом. Не люблю листать четырьмя пальцами влево-вправо в поиске нужного экрана. Знаю одного человека, у которого открыто 10 рабочих столов
- Переопределил
CapsLock на Ctrl- Скрыл док, чтобы он поднимался только когда я навожу мышку
- Заменил spotlight на raycast, поставил шорткат на
Ctrl+F- Приложения я открываю через текстовый поиск в raycast
- Для переключения между саджестами в raycast использую
Ctrl+P/N (при желании можно заменить на vim-like Ctrl+J/K, но я уже привык)- Между последними приложениями переключаюсь через
Cmd+Tab. Между открытыми проектами в VS Code переключаюсь через Cmd+`- Переключение языка держу на
Ctrl+Space- Настроил шорткат
Cmd+Ctrl+M на максимизацию окна на весь экран без перехода в полноэкранный режим (см. скриншот)- Все окна максимизирую на весь экран (но не в полноэкранный режим). Даже на большом мониторе. Чтобы не расфокусироваться
В качестве браузера я использую Arc Browser. Он отображает открытые вкладки слева, а не сверху, увеличивая полезную площадь. Чтобы не использовать мышку, я настроил в raycast шорткаты
-
t на поиск по вкладкам. Там же ищутся закрепленные страницы в Arc-
s на поиск по пространствам. У меня несколько пространств. Обычно для работы над каким-то проектом я делаю новый спейс, а когда он больше не нужен удаляюВ самом Arc тоже кое-что поднастроил
- Добавил шорткаты на поиск по некоторым важным сайтам (например, по гиту)
- Поставил плагин, который по
Ctrl+M сохраняет ссылку на страницу в формате Markdown- Ну и еще использую Vimium плагин, который позволяет без мышки переходить по ссылкам и добавляет Vim шорткаты (см. скриншот)
Для переключениями между вкладками почти во всех приложениях использую стоковые маковские шорткаты
Cmd+Shift+[/]. Они уже везде работают.Активно пользуюсь скриншотами. Переопределил их на
Cmd+Shift+R, т.к. когда-то сидел на сплит-клавиатуре, а стандартный шорткат требовал цифр (на сплит клаве это неудобно)Вот такой сетап. Забирайте!
Если будут вопросы, спрашиваете, могу рассказать более детально
Гайд по ведению заметок в LogSeq
#productivity@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Где почитать про DS карьеру в Авито
В моем блоге 😅
Помимо основной работы я немного занимаюсь общественно-полезной активностью в компании. Недавно мы с коллегами собрали свежую карьерную страничку про DS в Авито! На ней можно посмотреть про наши направления, карьерную лестницу, этапы собесов, статьи и выступления, а также присмотреть вакансию💎
А еще мы работаем над одной новой PR темой, которую опубликовали пока на внутреннее DS комьюнити. И если все пойдет, то мы скоро раскроемся 🙂🪙
https://career.avito.com/directions/data-science/
#worklife@big_ledovsky
Помимо основной работы я немного занимаюсь общественно-полезной активностью в компании. Недавно мы с коллегами собрали свежую карьерную страничку про DS в Авито! На ней можно посмотреть про наши направления, карьерную лестницу, этапы собесов, статьи и выступления, а также присмотреть вакансию
А еще мы работаем над одной новой PR темой, которую опубликовали пока на внутреннее DS комьюнити. И если все пойдет, то мы скоро раскроемся 🙂
https://career.avito.com/directions/data-science/
#worklife@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Avito
Data Science
Forwarded from ОЙЧИВО!
Первый подкаст в новом году! И не простой, а в видеоформате!
Наши бессменные ведущие Анастасия Лямцева и Андрей Косько в этот раз встретились со специалистом по машинному обучению Сашей Ледовским, чтобы обсудить, как искусственный интеллект может изменить повестку устойчивого развития.
Разобравшись в нюансах термина, обсудили:
🔘 Искусственный интеллект и рынок труда: исчезнут ли профессии?
🔘 ИИ в медицине: перспективы и ограничения;
🔘 Насколько точны прогнозы ИИ и можно ли им доверять?
🔘 Достижения и ограничения ИИ: фейки, лимиты, искусство;
🔘 Почему одни страны богаты, а другие бедны?
🔘 Государство и ИИ: кто на самом деле будет принимать решения?
И ещё с десяток тем!
Получилось насыщенно и увлекательно, рекомендуем к прослушиванию/просмотру!
📱 Смотреть на Youtube
📱 Смотреть ВКонтакте
🔵 Слушать на удобной платформе
🚀 Слушать прямо в Телеграме
ОЙЧИВО! #Подкаст
@impactgram
Наши бессменные ведущие Анастасия Лямцева и Андрей Косько в этот раз встретились со специалистом по машинному обучению Сашей Ледовским, чтобы обсудить, как искусственный интеллект может изменить повестку устойчивого развития.
Разобравшись в нюансах термина, обсудили:
И ещё с десяток тем!
Получилось насыщенно и увлекательно, рекомендуем к прослушиванию/просмотру!
ОЙЧИВО! #Подкаст
@impactgram
Please open Telegram to view this post
VIEW IN TELEGRAM
Все-таки люблю я поговорить 😅 Поэтому на подкаст меня зазвать достаточно просто)
Подкаст легкий, гуманитарного жанра. Мне понравилось, как получился наш разговор!
Я затер свои любимые темы
- Про то, как маркетплейс является зеркалом рыночной экономики, а ИИ ищет баланс справедливости и эффективности
- Про то, что я не ожидал, что LLM будут так круто работать
- Про то, что LLM это процессор, и вообще сжатый с потерями архив интернета (пересказывая Карпатого)
Подкаст легкий, гуманитарного жанра. Мне понравилось, как получился наш разговор!
Я затер свои любимые темы
- Про то, как маркетплейс является зеркалом рыночной экономики, а ИИ ищет баланс справедливости и эффективности
- Про то, что я не ожидал, что LLM будут так круто работать
- Про то, что LLM это процессор, и вообще сжатый с потерями архив интернета (пересказывая Карпатого)
Анекдот про консалтинг
Пишу пост про метрики эффективности сотрудников (DS и в целом). Не буду пока спойлерить свое мнение о них. Но я понял, что не могу не поделиться анекдотом, который мне рассказали в мою бытность в консалтинге (Костя, если ты это читаешь, спасибо за все 😀❤️🔥)
—
Приходит посетитель в дорогой ресторан. К нему подходит официант. Из нагрудного кармана пиджака у него видна блестящая ложка, а к ширинке брюк привязана веревочка.
- А что это у вас такое? Как-то вы необычно выглядите. Зачем вам ложка?
- Да вот пришли к нам консультанты Эрнст энд Янг оптимизировать наши процессы. Они посчитали, что посетители чаще всего роняют на пол ложки. Поэтому когда кто-то роняет ложку, я не иду на кухню, а даю ему ложку из кармана.
- Ооо, здорово! Вот так консультанты! А зачем веревочка?
- А это чтобы, когда я хожу в туалет пописать, мне не нужно было мыть руки. Это сокращает время на 30 секунд!
- Вот это улучшение!
- (Подумав) Погодите, с помощью веревочки можно только достать. А как потом обратно-то убирать?
- Ну, это консультанты не продумали. Не знаю кто как, но лично я убираю ложкой!
—
PS. Я работал в Эрнст энд Янг, поэтому в анекдоте он. Другие консалтинговые компании подставляли свое название
PPS. Кроме Маккинзи, они юмор не выкупали 😂
#memes@big_ledovsky
Пишу пост про метрики эффективности сотрудников (DS и в целом). Не буду пока спойлерить свое мнение о них. Но я понял, что не могу не поделиться анекдотом, который мне рассказали в мою бытность в консалтинге (Костя, если ты это читаешь, спасибо за все 😀❤️🔥)
—
Приходит посетитель в дорогой ресторан. К нему подходит официант. Из нагрудного кармана пиджака у него видна блестящая ложка, а к ширинке брюк привязана веревочка.
- А что это у вас такое? Как-то вы необычно выглядите. Зачем вам ложка?
- Да вот пришли к нам консультанты Эрнст энд Янг оптимизировать наши процессы. Они посчитали, что посетители чаще всего роняют на пол ложки. Поэтому когда кто-то роняет ложку, я не иду на кухню, а даю ему ложку из кармана.
- Ооо, здорово! Вот так консультанты! А зачем веревочка?
- А это чтобы, когда я хожу в туалет пописать, мне не нужно было мыть руки. Это сокращает время на 30 секунд!
- Вот это улучшение!
- (Подумав) Погодите, с помощью веревочки можно только достать. А как потом обратно-то убирать?
- Ну, это консультанты не продумали. Не знаю кто как, но лично я убираю ложкой!
—
PS. Я работал в Эрнст энд Янг, поэтому в анекдоте он. Другие консалтинговые компании подставляли свое название
PPS. Кроме Маккинзи, они юмор не выкупали 😂
#memes@big_ledovsky
Метрики эффективности. Хорошо или плохо?
TLDR. Даже самые дурацкие метрики могут быть использованы на благо при определенных условиях и в умелых руках. В неумелых руках даже хорошие метрики не принесут пользы.
Все смеются над мифической метрикой количества строк кода. Мол, нет хуже метрики для программистов. Потому что главное в инженерии не количество, а качество.
Вообще в крупных компаниях регулярно делаются попытки обложить все численными метриками. Я был свидетелем нескольких неудачных попыток обложить инженерные подразделения метриками.
Первый пример
У нас в Сбере пришел новый руководитель трайба. Он пришел из продаж, а в продажах все построено на том, что раз в Х времени все менеджеры территорий собираются и смотрят табличку выполнения плана. Те кто зеленые получают похвалу и в итоге бонусы, те кто красные, получают развивающую обратную связь😄
Наш новый руководитель сказал - я плохо понимаю чем занимается несколько сотен инженеров. Давайте по каждой команде составим метрики и тоже отранжируем их от зеленых к красным. Кто зеленый получит повышенные оценки, а с красными будем работать🏌️ . При этом, команды были очень разные. Кто-то делал фронт, кто-то бэк, кто-то занимался DS, а кто-то писал девопс пайплайны. В общем, нетрудно догадаться, что инициатива вызвала стресс, но в итоге ничего не получилось.
Второй пример
Тоже в Сбере. В какой-то момент у нас ввели метрику фин эффекта от AI. Эта метрика стала жестко пушиться с самого верха компании, а суммы были неприлично большими, что создало очень много негативного напряжения. Дело в том, что фин эффект спрашивали только с продаж и с AI. У продактов например не было мотивации на фин эффект. В добавок, для валидации фин эффекта от AI создали отдельное подразделение валидации. Все это привело к тому, что защита фин эффекта обросла огромным стрессом, необходимостью натягивать результат, которого нет, и заниматься политикой. Лично мне это очень неприятно. И это я вежливо пишу, а вот Никита в своем посте не постеснялся прямым текстом написать про один реальный кейс. В итоге с периода ввода фин эффектов при мне ушло много годных людей, да и я сам в их числе.
Но это не значит, что метрики эффективности это плохо
Примерно год назад у нас относительно медленно шли раскатки фичей по нескольким направлениям. Я сделал дашборд с количеством смердженных PR (пул реквестов, атомарных раскаток кода) по всем DS-инженерам. Это был чисто информационный дашборд, он никак не влиял на оценку и не требовал выполнять KPI. Но каждый мог посмотреть на себя на протяжении последних месяцев. Дашборд помогал понять, в каких местах в данный момент есть сложности. В итоге, за пару месяцев мы кратно улучшили ситуацию: собирались с ребятами, разбирали трудности и меняли что-то в наших процессах.
Если бы мы сделали KPI на количество PR, то люди бы легко его зафродили. Но если никто не пытается фродить метрику, то количество PR является хорошим прокси к эффективности.
Поэтому на мой взгляд оценивать команду нужно по продуктовым метрикам. А метрики эффективности нужно использовать как инструмент в работе. Тогда будет хорошо! А так, даже самую здравую метрику можно накрутить и толка от нее не будет
Если пост откликнулся, буду рад вашим реакциям 🔥
#management@big_ledovsky
TLDR. Даже самые дурацкие метрики могут быть использованы на благо при определенных условиях и в умелых руках. В неумелых руках даже хорошие метрики не принесут пользы.
Все смеются над мифической метрикой количества строк кода. Мол, нет хуже метрики для программистов. Потому что главное в инженерии не количество, а качество.
Вообще в крупных компаниях регулярно делаются попытки обложить все численными метриками. Я был свидетелем нескольких неудачных попыток обложить инженерные подразделения метриками.
Первый пример
У нас в Сбере пришел новый руководитель трайба. Он пришел из продаж, а в продажах все построено на том, что раз в Х времени все менеджеры территорий собираются и смотрят табличку выполнения плана. Те кто зеленые получают похвалу и в итоге бонусы, те кто красные, получают развивающую обратную связь
Наш новый руководитель сказал - я плохо понимаю чем занимается несколько сотен инженеров. Давайте по каждой команде составим метрики и тоже отранжируем их от зеленых к красным. Кто зеленый получит повышенные оценки, а с красными будем работать
Второй пример
Тоже в Сбере. В какой-то момент у нас ввели метрику фин эффекта от AI. Эта метрика стала жестко пушиться с самого верха компании, а суммы были неприлично большими, что создало очень много негативного напряжения. Дело в том, что фин эффект спрашивали только с продаж и с AI. У продактов например не было мотивации на фин эффект. В добавок, для валидации фин эффекта от AI создали отдельное подразделение валидации. Все это привело к тому, что защита фин эффекта обросла огромным стрессом, необходимостью натягивать результат, которого нет, и заниматься политикой. Лично мне это очень неприятно. И это я вежливо пишу, а вот Никита в своем посте не постеснялся прямым текстом написать про один реальный кейс. В итоге с периода ввода фин эффектов при мне ушло много годных людей, да и я сам в их числе.
Но это не значит, что метрики эффективности это плохо
Примерно год назад у нас относительно медленно шли раскатки фичей по нескольким направлениям. Я сделал дашборд с количеством смердженных PR (пул реквестов, атомарных раскаток кода) по всем DS-инженерам. Это был чисто информационный дашборд, он никак не влиял на оценку и не требовал выполнять KPI. Но каждый мог посмотреть на себя на протяжении последних месяцев. Дашборд помогал понять, в каких местах в данный момент есть сложности. В итоге, за пару месяцев мы кратно улучшили ситуацию: собирались с ребятами, разбирали трудности и меняли что-то в наших процессах.
Если бы мы сделали KPI на количество PR, то люди бы легко его зафродили. Но если никто не пытается фродить метрику, то количество PR является хорошим прокси к эффективности.
Поэтому на мой взгляд оценивать команду нужно по продуктовым метрикам. А метрики эффективности нужно использовать как инструмент в работе. Тогда будет хорошо! А так, даже самую здравую метрику можно накрутить и толка от нее не будет
Если пост откликнулся, буду рад вашим реакциям 🔥
#management@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый Weekend Offer для DS в Авито
Всем привет! У нас запланирован новый Weekend offer для DS. Он состоится 1-2 марта, подача заявок открыта до 27 февраля. Регистрируйтесь по ссылке
Прошлый был в октябре и полностью себя оправдал. Во-первых, у нас каждая команда сделала оффер, а то и несколько. Во-вторых, пришли реально крутые кандидаты и было из кого выбрать.
Все-таки, такие мероприятия сильно экономят силы для обеих сторон. Кандидату не нужно долго ждать и гадать будет у него оффер или нет. Достаточно просто откликнуться, прособеситься и сразу получить ответ. А нанимающим командам не нужно постоянно отвлекать силы на найм в течении спринта. Сплошные плюсыособенно когда за работу в выходные платят в двойном размере 😄
Всем привет! У нас запланирован новый Weekend offer для DS. Он состоится 1-2 марта, подача заявок открыта до 27 февраля. Регистрируйтесь по ссылке
Прошлый был в октябре и полностью себя оправдал. Во-первых, у нас каждая команда сделала оффер, а то и несколько. Во-вторых, пришли реально крутые кандидаты и было из кого выбрать.
Все-таки, такие мероприятия сильно экономят силы для обеих сторон. Кандидату не нужно долго ждать и гадать будет у него оффер или нет. Достаточно просто откликнуться, прособеситься и сразу получить ответ. А нанимающим командам не нужно постоянно отвлекать силы на найм в течении спринта. Сплошные плюсы
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый канал 🌈
Итак, пришло время рассказать про проект, которым мы с коллегами занимаемся последний месяц - это телеграм канал DS Авито Доска AI объявлений. Прошу любить и жаловать! В канале будет смесь про проекты и про внутреннюю жизнь. Вот несколько постов, которые мы написали:
Чем занимается наша команда LLM
Токийский дрифт на выезде DS
Почему мы перешли на kubeflow
Скажу честно, решились на канал мы не сразу. С одной стороны писать канал - это круто. Это и классное хобби, и полезно с точки зрения PR.
С другой стороны в отличии от аналитиков или дизайнеров, вовлеченность в PR активности у DS меньше. У разработчиков тоже, но их просто гораздо больше. Поэтому мы переживали, что авторов не будет хватать и канал превратится в чей-то крест (мой? 😂 ). Но в итоге дело пошло бодро и уверен, что будет много интересного контента.
Одной из идей за которые я топил было максимально оставлять текст авторов. Редакторы только исправляют ошибки и добавляют форматирование. Потому что лучше пост будет корявый, зато от души ❤️🔥
Если у вас есть пожелания о чем вы бы хотели видеть контент в нашем канале - смело пишите!
Итак, пришло время рассказать про проект, которым мы с коллегами занимаемся последний месяц - это телеграм канал DS Авито Доска AI объявлений. Прошу любить и жаловать! В канале будет смесь про проекты и про внутреннюю жизнь. Вот несколько постов, которые мы написали:
Чем занимается наша команда LLM
Токийский дрифт на выезде DS
Почему мы перешли на kubeflow
Скажу честно, решились на канал мы не сразу. С одной стороны писать канал - это круто. Это и классное хобби, и полезно с точки зрения PR.
С другой стороны в отличии от аналитиков или дизайнеров, вовлеченность в PR активности у DS меньше. У разработчиков тоже, но их просто гораздо больше. Поэтому мы переживали, что авторов не будет хватать и канал превратится в чей-то крест (
Одной из идей за которые я топил было максимально оставлять текст авторов. Редакторы только исправляют ошибки и добавляют форматирование. Потому что лучше пост будет корявый, зато от души ❤️🔥
Если у вас есть пожелания о чем вы бы хотели видеть контент в нашем канале - смело пишите!
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Доска AI-объявлений
Это не душный, а душевный канал про Data Science в Авито. Пишем о том, что у нас происходит, про ML, вакансии, мероприятия.
Опрос на 14 февраля. Работа DS полна сложностей. Но я все равно ее люблю, даже когда..
Anonymous Poll
10%
когда модель обучается час, а потом крашится без объяснения причин 🤹
15%
когда оффлайн метрики не бьются с онлайном 🏌️
11%
когда оказывается, чтобы доставить нужную фичу для прода нужен квартал доработок 🚶♂️
27%
когда телеграм каналы пишут про 9b сетки, а ты тюнишь бустинг (ибо работает 🙂)
1%
напишу в коментариях
37%
я не ds, хочу посмотреть
Как находить аплифты от Data Science. Часть 1
Далеко не всегда у DS-ов и аналитиков получается видеть результат своей работы. Часто она идет в стол. Лично мне очень важно понимать, что моя работа объективно на что-то повлияла.
Так вот. За свою карьеру я кажется понял, как находить эти самые аплифты. Ответ: нужно иметь опыт и чутье в какие компании, отделы и проекты вписываться. Вот некоторые соображения по этому поводу.
Дисклеймер
Мои мысли касаются индустриального трека, а не RnD. RnD - это на самом деле другая специализация и совсем другой карьерный трек с другими достижениями. Это работающие прототипы, пилоты и публикации в журналах и на конференциях.
Выбор компании - где потенциал больше
Наибольший потенциал для получения эффектов от ML и аналитики на мой взгляд можно найти в растущих компаниях с развитой продуктовой и технологической культурой. Где есть работающие процессы, где быстро катятся доработки в прод и где основа бизнеса - это онлайн.
В развитых продуктовых компаниях получать эффект может быть сложнее, потому что все уже более-менее работает и низковисящие фрукты сняты. Например, у нас улучшить качество ранкера в рекомендациях на пару процентных пунктов NDCG - достаточно сложная задача. Но при этом на масштабе прирост ML метрики даже на один процентный пункт может привести к прокрасу бизнес-метрик.
Также важно, в какой отдел вы пойдете. Если это новое направление, то вполне возможно там вас ждет успех.
Выбор компании - где потенциал меньше
В крупных индустриальных компаниях, где разработка идет медленно, где много завязано на оффлайн процессах, где не развита работа с данными, будет сложно получить эффект. Такие компании идут в AI во многом из-за хайпа, а их инфраструктура и процессы во многом не готовы.
Условно, менеджеры хотят сделать AI, а у них даже нет качественной инфраструктуры для сбора витрин данных. Все процессы построены на адхок sql запросах и выгрузках в эксель. Так раньше было в Сбере. Трансформация заняла несколько лет (и я думаю не завершилась, хотя ожидания от AI уже в районе Альфа Центавры)
Либо тоже частый кейс, когда компания хочет создать сложный продукт там, где нет ничего. Помню, как мы работали над автоматическим анализом данных геофизических исследований бурения нефтяных скажин. Это на самом деле был RnD и до первых крутых результатов прошло пару лет.
Наличие человека в процессах по моему опыту сильно снижает эффект машинного обучения. Например, отображение предложений в интерфейсе гораздо легче превратить в изменение метрик, чем формирование рекомендаций для менеджеров по продажам. Тут нужно не просто дать скор, но и объяснить, как менеджеру продавать рекомендованный продукт.
Поэтому, если вам делают оффер в технологически неразвитую компанию и хотят поставить краткосрочные цели по финансовому эффекту, подумайте дважды. Возможно до аплифтов вам потребуется пройти путь в несколько лет.
Продолжение следует
В части 2 я расскажу про выбор отдела и проекта. Если интересно узнать продолжение, очень жду ваших реакций 🐳
#career@big_ledovsky
Далеко не всегда у DS-ов и аналитиков получается видеть результат своей работы. Часто она идет в стол. Лично мне очень важно понимать, что моя работа объективно на что-то повлияла.
Так вот. За свою карьеру я кажется понял, как находить эти самые аплифты. Ответ: нужно иметь опыт и чутье в какие компании, отделы и проекты вписываться. Вот некоторые соображения по этому поводу.
Дисклеймер
Мои мысли касаются индустриального трека, а не RnD. RnD - это на самом деле другая специализация и совсем другой карьерный трек с другими достижениями. Это работающие прототипы, пилоты и публикации в журналах и на конференциях.
Выбор компании - где потенциал больше
Наибольший потенциал для получения эффектов от ML и аналитики на мой взгляд можно найти в растущих компаниях с развитой продуктовой и технологической культурой. Где есть работающие процессы, где быстро катятся доработки в прод и где основа бизнеса - это онлайн.
В развитых продуктовых компаниях получать эффект может быть сложнее, потому что все уже более-менее работает и низковисящие фрукты сняты. Например, у нас улучшить качество ранкера в рекомендациях на пару процентных пунктов NDCG - достаточно сложная задача. Но при этом на масштабе прирост ML метрики даже на один процентный пункт может привести к прокрасу бизнес-метрик.
Также важно, в какой отдел вы пойдете. Если это новое направление, то вполне возможно там вас ждет успех.
Выбор компании - где потенциал меньше
В крупных индустриальных компаниях, где разработка идет медленно, где много завязано на оффлайн процессах, где не развита работа с данными, будет сложно получить эффект. Такие компании идут в AI во многом из-за хайпа, а их инфраструктура и процессы во многом не готовы.
Условно, менеджеры хотят сделать AI, а у них даже нет качественной инфраструктуры для сбора витрин данных. Все процессы построены на адхок sql запросах и выгрузках в эксель. Так раньше было в Сбере. Трансформация заняла несколько лет (и я думаю не завершилась, хотя ожидания от AI уже в районе Альфа Центавры)
Либо тоже частый кейс, когда компания хочет создать сложный продукт там, где нет ничего. Помню, как мы работали над автоматическим анализом данных геофизических исследований бурения нефтяных скажин. Это на самом деле был RnD и до первых крутых результатов прошло пару лет.
Наличие человека в процессах по моему опыту сильно снижает эффект машинного обучения. Например, отображение предложений в интерфейсе гораздо легче превратить в изменение метрик, чем формирование рекомендаций для менеджеров по продажам. Тут нужно не просто дать скор, но и объяснить, как менеджеру продавать рекомендованный продукт.
Поэтому, если вам делают оффер в технологически неразвитую компанию и хотят поставить краткосрочные цели по финансовому эффекту, подумайте дважды. Возможно до аплифтов вам потребуется пройти путь в несколько лет.
Продолжение следует
В части 2 я расскажу про выбор отдела и проекта. Если интересно узнать продолжение, очень жду ваших реакций 🐳
#career@big_ledovsky
Продолжение предыдущего поста на самом было написано почти сразу, но на меня напала простуда, и пока желания постить что-то серьезное нет. Полезные карьерные выводы будут в следующий раз 🙂
Не болел с температурой я кстати больше года, с прошлого нового года! (Зато как! Перезаражал весь дом сменщиков 🥲)
5-10 лет назад такое здоровье было мне не свойственно. Да и сейчас я виню 6 тренировок за последние 8 дней.
Я стараюсь не уходить на больничный с легкой простудой, т.к. искренне не понимаю чем еще заниматься. Лежать в постели я не буду. Смотреть целый день телек или играть - сойду с ума. А работа она даже проста, т.к. привычна. Особенно техническая: запускаешь пайплайны, делаешь PR-ы, чешешь репу над метриками.
Но все-таки вечером на меня находит вайб отдыха. Вчера мы посмотрели аж 3 фильма подряд, а еще я почувствовал себя немного взрослым 🥲. Потому что это все были старые фильмы из моего детства. Оцените
- Астерикс и Обеликс. Миссия Клеопатра
- Знакомство с Родителями
- Знакомство с Факерами
Ужасно, что я так говорю, но раньше снимали лучше 😂
#lifestyle@big_ledovsky
Не болел с температурой я кстати больше года, с прошлого нового года! (Зато как! Перезаражал весь дом сменщиков 🥲)
5-10 лет назад такое здоровье было мне не свойственно. Да и сейчас я виню 6 тренировок за последние 8 дней.
Я стараюсь не уходить на больничный с легкой простудой, т.к. искренне не понимаю чем еще заниматься. Лежать в постели я не буду. Смотреть целый день телек или играть - сойду с ума. А работа она даже проста, т.к. привычна. Особенно техническая: запускаешь пайплайны, делаешь PR-ы, чешешь репу над метриками.
Но все-таки вечером на меня находит вайб отдыха. Вчера мы посмотрели аж 3 фильма подряд, а еще я почувствовал себя немного взрослым 🥲. Потому что это все были старые фильмы из моего детства. Оцените
- Астерикс и Обеликс. Миссия Клеопатра
- Знакомство с Родителями
- Знакомство с Факерами
Ужасно, что я так говорю, но раньше снимали лучше 😂
#lifestyle@big_ledovsky
Как находить аплифты от Data Science. Часть 2
Итак, я снова в писательском строю. Мой прошлый пост был про то, что вероятность получения реального эффекта от ML зависит от правильного выбора места, где вы работаете. Продолжу давать советы как выбирать
Выбор отдела и проекта
Условно, можно поделить DS проекты на следующие категории, по метрикам на которые они влияют
- Рост выручки
- Снижение затрат
- Рост вовлечения (MAU, DAU итд)
- Рост качества продукта
- Не имеют прямого влияния
Проще всего получать аплифты, где есть прямое влияние на выручку. Например, монетизация в поиске, маркетинговые коммуникации или банковский скоринг. Тут процент от улучшения модели напрямую будет превращаться в деньги.
Снижение затрат как будто чуть сложнее для раскачки, но и там можно получить хорошие эффекты. Например, автоматизация распознавания документов или автоматизация поддержки. Для DS тут главное, чтобы уже был создан задел из простых алгоритмов, чтобы модели тестировались против работающих эвристик.
Вовлеченность как мне кажется качать непросто. Есть «хорошие» задачи вроде поиска и рекомендаций. Но вот не знаю, возможно ли замерить влияние на DAU качество ответов условной Алисы.
Обеспечение качества продукта хорошее место для выбивания эффекта. Его нельзя будет понятно померить в деньгах, но вы будете видеть результат своей работы. Например, антифрод или матчинг товаров, или построение прогнозов (хотя в последнем бывают исключения, у нас вот прогнозы в ui напрямую растят выручку)
Но вот с чем нужно быть аккуратным - это с проектами, которые явно ни на что не влияют. Это не значит что они всегда ненужные, но просто иногда с ходу понятно, что аплифтов тут не будет. Например, когда говорят - давайте сделаем модель кластеризации клиентов. Или у меня был негативный опыт с моделью оттока сотрудников. Чтобы распознать такой проект, задайте вопрос - на какие продуктовые метрики вы будете влиять? Что будет происходить с выходом вашей модели? Возможно ли провести какой-то адекватный эксперимент? Если нет, то считайте, что это RnD.
Итог
Надеюсь, мои мысли дадут вам пищу при выборе новой работы и проекта внутри вашей компании. Если вы хотите получать эффект, то в первую очередь думайте на какой проект вы делаете ставку. Из дохлой лошади выжать что-то будет очень сложно.
Спасибо за внимание. Как всегда буду рад вашим реакциям 🔥 и историям кринжовых проектов 🙂
#career@big_ledovsky
Итак, я снова в писательском строю. Мой прошлый пост был про то, что вероятность получения реального эффекта от ML зависит от правильного выбора места, где вы работаете. Продолжу давать советы как выбирать
Выбор отдела и проекта
Условно, можно поделить DS проекты на следующие категории, по метрикам на которые они влияют
- Рост выручки
- Снижение затрат
- Рост вовлечения (MAU, DAU итд)
- Рост качества продукта
- Не имеют прямого влияния
Проще всего получать аплифты, где есть прямое влияние на выручку. Например, монетизация в поиске, маркетинговые коммуникации или банковский скоринг. Тут процент от улучшения модели напрямую будет превращаться в деньги.
Снижение затрат как будто чуть сложнее для раскачки, но и там можно получить хорошие эффекты. Например, автоматизация распознавания документов или автоматизация поддержки. Для DS тут главное, чтобы уже был создан задел из простых алгоритмов, чтобы модели тестировались против работающих эвристик.
Вовлеченность как мне кажется качать непросто. Есть «хорошие» задачи вроде поиска и рекомендаций. Но вот не знаю, возможно ли замерить влияние на DAU качество ответов условной Алисы.
Обеспечение качества продукта хорошее место для выбивания эффекта. Его нельзя будет понятно померить в деньгах, но вы будете видеть результат своей работы. Например, антифрод или матчинг товаров, или построение прогнозов (хотя в последнем бывают исключения, у нас вот прогнозы в ui напрямую растят выручку)
Но вот с чем нужно быть аккуратным - это с проектами, которые явно ни на что не влияют. Это не значит что они всегда ненужные, но просто иногда с ходу понятно, что аплифтов тут не будет. Например, когда говорят - давайте сделаем модель кластеризации клиентов. Или у меня был негативный опыт с моделью оттока сотрудников. Чтобы распознать такой проект, задайте вопрос - на какие продуктовые метрики вы будете влиять? Что будет происходить с выходом вашей модели? Возможно ли провести какой-то адекватный эксперимент? Если нет, то считайте, что это RnD.
Итог
Надеюсь, мои мысли дадут вам пищу при выборе новой работы и проекта внутри вашей компании. Если вы хотите получать эффект, то в первую очередь думайте на какой проект вы делаете ставку. Из дохлой лошади выжать что-то будет очень сложно.
Спасибо за внимание. Как всегда буду рад вашим реакциям 🔥 и историям кринжовых проектов 🙂
#career@big_ledovsky
Сорев от ВТБ
Заглянул посмотреть соревнование ВТБ, которое они запустили перед своей конференцией Data Fusion. Там предлагают три задачи:
- Сделать классификатор названий товаров по категорийному дереву
- Прогнозирование неизвестных временных рядов по клиенту-юрику
- Предсказание медианных остатков на счету клиента
Впечатления смешанные
Почему сорев ВТБ - это в целом хорошо
В отличии от международных площадок соревнований, российские соревнования посвящены прикладным задачам. Если посмотреть Kaggle, там один конкурс страннее другого. Все ориентировано на рисерч и узконаправленный Deep Learning: то предсказать последовательность РНК, то научиться решать олимпиадные задачи по математике. Откровенно говоря, большинство ML инженеров занимаются совсем другим. Поэтому ВТБ спасибо за то, что поддерживает поток соревнований с задачами, похожими на настоящие.
Качество задач - не оч
Задача, которую я взял смотреть меня расстроила. Я пошел классифицировать названия товаров и обнаружил, что категорийное дерево в задаче - хуже некуда. Оно просто нереалистично плохое, словно его нагенерили с помощью LLM.
Да, задача ориентирована на плохие данные. Ну пусть разметка будет плохая, пусть классы представлены неравномерно. Но зачем же матчить данные на плохое категорийное дерево?!? Это бессмыслица какая-то. Да и зачем вообще ВТБ матчить названия товаров? Или они маркетплейс покупают?
Развлекался сборкой образа
Я уже думал бросить соревнование из-за отсутствия практического смысла, но мне почему-то захотелось собрать решение с векторным поиском по e5-multilingual эмбеддингам со своим докер образом. Да, там можно в решение дать свой докер образ. Бейзлайн я сделал минут за 30, но со сборкой провозился много часов. Пришлось разобраться как собирать образы с CUDA на mac m1. А еще docker desktop у меня распознается как malware и пришлось ставить опенсорсный аналог - Colima.
Итоге все заработало. Прямолинейный векторный поиск вообще не прям чтобы круто работает, но скор бейзлайна улучшил в 2 раза. Я доволен.
Поделитесь реакциями, что думаете о конфе и сореве ВТБ: круто🔥 , сомнительно 🌚
Заглянул посмотреть соревнование ВТБ, которое они запустили перед своей конференцией Data Fusion. Там предлагают три задачи:
- Сделать классификатор названий товаров по категорийному дереву
- Прогнозирование неизвестных временных рядов по клиенту-юрику
- Предсказание медианных остатков на счету клиента
Впечатления смешанные
Почему сорев ВТБ - это в целом хорошо
В отличии от международных площадок соревнований, российские соревнования посвящены прикладным задачам. Если посмотреть Kaggle, там один конкурс страннее другого. Все ориентировано на рисерч и узконаправленный Deep Learning: то предсказать последовательность РНК, то научиться решать олимпиадные задачи по математике. Откровенно говоря, большинство ML инженеров занимаются совсем другим. Поэтому ВТБ спасибо за то, что поддерживает поток соревнований с задачами, похожими на настоящие.
Качество задач - не оч
Задача, которую я взял смотреть меня расстроила. Я пошел классифицировать названия товаров и обнаружил, что категорийное дерево в задаче - хуже некуда. Оно просто нереалистично плохое, словно его нагенерили с помощью LLM.
Да, задача ориентирована на плохие данные. Ну пусть разметка будет плохая, пусть классы представлены неравномерно. Но зачем же матчить данные на плохое категорийное дерево?!? Это бессмыслица какая-то. Да и зачем вообще ВТБ матчить названия товаров? Или они маркетплейс покупают?
Развлекался сборкой образа
Я уже думал бросить соревнование из-за отсутствия практического смысла, но мне почему-то захотелось собрать решение с векторным поиском по e5-multilingual эмбеддингам со своим докер образом. Да, там можно в решение дать свой докер образ. Бейзлайн я сделал минут за 30, но со сборкой провозился много часов. Пришлось разобраться как собирать образы с CUDA на mac m1. А еще docker desktop у меня распознается как malware и пришлось ставить опенсорсный аналог - Colima.
Итоге все заработало. Прямолинейный векторный поиск вообще не прям чтобы круто работает, но скор бейзлайна улучшил в 2 раза. Я доволен.
Поделитесь реакциями, что думаете о конфе и сореве ВТБ: круто
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Приоткрываю карты, как мы собираем поисковую выдачу, когда что-то в ней меняем.
Forwarded from Доска AI-объявлений (Alexander Ledovsky)
Почему мы не используем ассессоров для выкатки моделей в поиске
Осенью я участвовал в конференции IML в качестве эксперта. Моя роль была в том, чтобы после доклада Коли Смирнова про поиск «Лавки» поучаствовать с ним в дискуссии. И мы как раз затронули эту тему: ребята используют ассессоров, а я объяснял, почему у нас это не работает.
Идея ассессоров следующая:
👉 Допустим, вы переобучили поисковой ранкер и получили хорошие ML-метрики, условный NDCG.
👉 Затем вы посылаете на ассессоров заранее подготовленный пул запросов, отранжированных новой и старой моделью, и получаете оценку качества от людей.
Проблемы начинаются тогда, когда вы ранжируете не по релевантности. Мы учитываем сразу много факторов в выдаче: релевантность, кликабельность объявления, монетизацию, репутационные скоры. А ещё нужно не забыть, что частные продавцы на Авито должны получать свой трафик, чтобы их не выдавили профессионалы.
Поэтому никакой ассессор не сможет оценить, насколько хорошо мы собрали выдачу.
Мы используем специальную оффлайн-приёмку, где считаем метрики по заранее сформированным пулам запросов, но по скорам моделей и количеству объявлений разных типов. Например, если сильно просадили частников — плохо.
Думаю, что в какой-то момент от нас выйдет подробный доклад по этому поводу. Там много интересного: и как формировать пулы, и как подбирать хорошие оффлайн-метрики, и как сделать инструмент быстрым в использовании.
P.S. На самом деле ассессоров мы используем. Но только для сбора специального датасета для обучения модели релевантности. Но это не то же самое, что оценка поисковой выдачи в целом.
Осенью я участвовал в конференции IML в качестве эксперта. Моя роль была в том, чтобы после доклада Коли Смирнова про поиск «Лавки» поучаствовать с ним в дискуссии. И мы как раз затронули эту тему: ребята используют ассессоров, а я объяснял, почему у нас это не работает.
Идея ассессоров следующая:
👉 Допустим, вы переобучили поисковой ранкер и получили хорошие ML-метрики, условный NDCG.
👉 Затем вы посылаете на ассессоров заранее подготовленный пул запросов, отранжированных новой и старой моделью, и получаете оценку качества от людей.
Проблемы начинаются тогда, когда вы ранжируете не по релевантности. Мы учитываем сразу много факторов в выдаче: релевантность, кликабельность объявления, монетизацию, репутационные скоры. А ещё нужно не забыть, что частные продавцы на Авито должны получать свой трафик, чтобы их не выдавили профессионалы.
Поэтому никакой ассессор не сможет оценить, насколько хорошо мы собрали выдачу.
Мы используем специальную оффлайн-приёмку, где считаем метрики по заранее сформированным пулам запросов, но по скорам моделей и количеству объявлений разных типов. Например, если сильно просадили частников — плохо.
Думаю, что в какой-то момент от нас выйдет подробный доклад по этому поводу. Там много интересного: и как формировать пулы, и как подбирать хорошие оффлайн-метрики, и как сделать инструмент быстрым в использовании.
P.S. На самом деле ассессоров мы используем. Но только для сбора специального датасета для обучения модели релевантности. Но это не то же самое, что оценка поисковой выдачи в целом.
Ответ на пост: AI продакты - кто это?
Никита написал актуальный пост. Он подметил, что сейчас активно стали искать AI продактов. И задается вопросом кто они такие? В Авито есть ветка AI продактов (мы ее называем DS продакты). Я активно работаю с DS продактами и мне нравится идея выделять такую специализацию. Расскажу по порядку.
AI продакт - это в первую очередь продакт, а не DS инженер, и не руководитель DS инженеров. Он отвечает за запуски продуктов, использующих ML, и улучшение их метрик. Я бы сказал, что это обычный продакт, который имеет общий инженерный бекграунд и какое-то время поработал на проектах с ML. Например, имеет представление, как в каких компаниях устроены те или иные решения: поиск, динамический прайсинг, автоматизация поддержки итд
Почему недостаточно DS тимлида?
Потому же, почему недостаточно иметь тимлида разработки в обычных ИТ продуктах. Есть некоторое разделение труда, чтобы каждый делал свою работу лучше. А еще менеджерской работы достаточно много, чтобы поделить ее между двумя ролями: DS тимлидом и DS продактом.
Примеры задач, которые делает AI продакт
- Составляет продуктовую стратегию
- Согласует и отвечает за выполнение продуктовых целей
- Согласовывает раскатки
- Обрабатывает входящие запросы из других команд
Первая киллер-фича AI продакта
Он позволяет DS тимлиду (то есть мне) сконцентрироваться на технических улучшениях моделей и алгоритмов. Я работал и без DS продакта - моя DS продуктивность была сильно ниже.
Вторая киллер-фича AI продакта
Средний технарь не любит отвечать за бизнес часть. Он любит делать то, что ему интересно с инженерной точки зрения. А если тебе что-то не нравится, он пойдет работать в другое место - спрос то есть.
Поэтому нужно либо нанимать крутых бизнес-ориентированных DS инженеров и платить им огромные деньги. Либо дать ответственность продакту и пусть он долбает технаря.
Заключение
Ну что, я вас убедил, что AI продакт - полезная роль?
➡️ Читайте также
Выбор, который обнаруживаешь в середине карьеры
Вечные проблемы DS команд
#career@big_ledovsky
Никита написал актуальный пост. Он подметил, что сейчас активно стали искать AI продактов. И задается вопросом кто они такие? В Авито есть ветка AI продактов (мы ее называем DS продакты). Я активно работаю с DS продактами и мне нравится идея выделять такую специализацию. Расскажу по порядку.
AI продакт - это в первую очередь продакт, а не DS инженер, и не руководитель DS инженеров. Он отвечает за запуски продуктов, использующих ML, и улучшение их метрик. Я бы сказал, что это обычный продакт, который имеет общий инженерный бекграунд и какое-то время поработал на проектах с ML. Например, имеет представление, как в каких компаниях устроены те или иные решения: поиск, динамический прайсинг, автоматизация поддержки итд
Почему недостаточно DS тимлида?
Потому же, почему недостаточно иметь тимлида разработки в обычных ИТ продуктах. Есть некоторое разделение труда, чтобы каждый делал свою работу лучше. А еще менеджерской работы достаточно много, чтобы поделить ее между двумя ролями: DS тимлидом и DS продактом.
Примеры задач, которые делает AI продакт
- Составляет продуктовую стратегию
- Согласует и отвечает за выполнение продуктовых целей
- Согласовывает раскатки
- Обрабатывает входящие запросы из других команд
Первая киллер-фича AI продакта
Он позволяет DS тимлиду (то есть мне) сконцентрироваться на технических улучшениях моделей и алгоритмов. Я работал и без DS продакта - моя DS продуктивность была сильно ниже.
Вторая киллер-фича AI продакта
Средний технарь не любит отвечать за бизнес часть. Он любит делать то, что ему интересно с инженерной точки зрения. А если тебе что-то не нравится, он пойдет работать в другое место - спрос то есть.
Поэтому нужно либо нанимать крутых бизнес-ориентированных DS инженеров и платить им огромные деньги. Либо дать ответственность продакту и пусть он долбает технаря.
Заключение
Ну что, я вас убедил, что AI продакт - полезная роль?
Выбор, который обнаруживаешь в середине карьеры
Вечные проблемы DS команд
#career@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Дата канальи — про «специалистов» в данных / ML / AI
AI-продакты – кто это? 👀
В последние несколько месяцев отовсюду идут запросы на них, от крупных банков, соцсети, финтеха и даже от железячных компаний.
Причем все хотят такого, такого, такого, и чтоб пробивной, и чтоб за бизнес, и чтоб проактивный, и чтоб…
В последние несколько месяцев отовсюду идут запросы на них, от крупных банков, соцсети, финтеха и даже от железячных компаний.
Причем все хотят такого, такого, такого, и чтоб пробивной, и чтоб за бизнес, и чтоб проактивный, и чтоб…
Какие DS конференции нас ждут весной
Если вы давно читаете этот канал, то знаете, что я люблю ходить на оффлайн конференции. Когда то я обещал делать небольшие обзоры того, что будет. Давайте посмотрим на интересные мероприятия весны.
16-17 апреля. Data Fusion. Конфа ВТБ. Честно говоря до этого на ней не был, но в этом году планирую сходить.
16-17 мая. IML conf. Питер. Это относительно новая конфа, коммерческая, но потому качественная. Она делается компанией JUG, которая делает JPoint и другие крупные ИТ конфы. Поэтому там есть программный комитет, хороший продакшн и прочее. Подал туда доклад, жду возьмут или нет.
23 мая - 1 июня. DataFest 2025. Как и в прошлом году датафест будет состоять из нескольких дней, которые будут проводиться разными компаниями. И один день опять будет проходить у нас. Конечно всех ждём!
➡️ Читать также
Впечатления с осенней IML 2024
Впечатления с Датафеста 2025
Если вы давно читаете этот канал, то знаете, что я люблю ходить на оффлайн конференции. Когда то я обещал делать небольшие обзоры того, что будет. Давайте посмотрим на интересные мероприятия весны.
16-17 апреля. Data Fusion. Конфа ВТБ. Честно говоря до этого на ней не был, но в этом году планирую сходить.
16-17 мая. IML conf. Питер. Это относительно новая конфа, коммерческая, но потому качественная. Она делается компанией JUG, которая делает JPoint и другие крупные ИТ конфы. Поэтому там есть программный комитет, хороший продакшн и прочее. Подал туда доклад, жду возьмут или нет.
23 мая - 1 июня. DataFest 2025. Как и в прошлом году датафест будет состоять из нескольких дней, которые будут проводиться разными компаниями. И один день опять будет проходить у нас. Конечно всех ждём!
Впечатления с осенней IML 2024
Впечатления с Датафеста 2025
Please open Telegram to view this post
VIEW IN TELEGRAM