📣 Важное напоминание от Грега Брокмана:

«С некоторыми исключениями, наибольшее влияние в сфере ИИ оказывают те, кто является экспертами одновременно в программном обеспечении и машинном обучении.

Хотя большинство ожидает обратного, освоить ML обычно получается гораздо быстрее, чем разработку ПО.

Поэтому выдающиеся инженеры-программисты, как правило, обладают огромным потенциалом в области ИИ.»

Подборка открытых вакансий 🔵

Стажер Data Scientist в Сбер
Офис в Новосибирске

Middle/Senior Data Engineer в Wildberries
Гибрид / Офис в Москве

Middle/Senior Программист исследователь в VK Team
Гибрид / Офис в Москве

Middle Data Analyst в Ozon
Офис в Москве

Middle/Senior Data Analyst в Авиасейлс
Удаленно

Senior ML Engineer в ЦИАН
Удаленно / Гибрид / Офис в Москве, Санкт-Петербурге и Новосибирске

Middle/Senior Data Scientist в X5 Tech
Гибрид / Офис

Как повысить свой рейтинг на Kaggle с новичка до мастера? Советы от чемпиона мира Kaggle

На Kaggle существует система рангов, которая зависит от достижений: побед в хакатонах, популярных ноутбуков или датасетов. Рейтинг напоминает профессиональный спорт — баллы набираются в отдельных соревнованиях, но побеждает тот, у кого их больше в общем зачете.

Как же распределяются очки за соревнования?
➖ Обычно первое место в одиночном соревновании приносит около 50 000 очков.
➖ Первое место в команде (например, AI Math Olympiad 2) — 24 000 очков.
➖ Второе место — около 20 000 очков.

Но очки со временем сгорают, поэтому удержать высокий рейтинг — та еще задача. Чтобы быть первым в мире, нужно около 170 000 активных очков — это примерно 4 победы в одиночку 😰

Чемпион Kaggle потратил целых 7 лет и участвовал в более чем 100 соревнованиях, в которых:
➖ Занял 9 первых мест, 3 вторых и 6 третьих;
➖ Попасть в топ-100 и стать гроссмейстером — заняло примерно 4000 часов;
➖ Первая победа — около 6000 часов;
➖ Удержать первое место в мире — 10 000+ часов.

Ключевые принципы, которыми руководствовался нынешний чемпион Kaggle:

1️⃣ Автоматизация
Используйте скрипты для предварительной обработки, обучения, вывода и отправки данных. Создайте конвейер, управляемый конфигурацией (например, Hydra, argparse), для легкого обмена параметрами модели и наборами данных.

2️⃣ Умные эксперименты
Используйте небольшие модели и подмножества данных (10–20% данных) для быстрой проверки идей. Сначала сосредоточьтесь на важных переменных: архитектурах, функциях потерь, ключевых признаках.

3️⃣ Эффективное обучение
Используйте смешанную точность (например, torch.cuda.amp) для более быстрого обучения. Используйте модели меньшего размера или раннюю остановку для начальных экспериментов. По возможности используйте несколько гпу или облачных виртуальных машин для распараллеливания.

4️⃣ Отслеживание результатов
Используйте такие инструменты, как Neptune.ai, Weights & Biases, MLflow или даже таблицы для отслеживания и сравнения экспериментов.

5️⃣ Проверка
Не тратьте время на отправку. Больше полагайтесь на локальную перекрёстную проверку, если только тестовый набор не имеет сильного сдвига домена и публичный LB ведёт себя непредсказуемо.

И главное — любовь к решению задач, творческий подход и долгосрочное обучение. Kaggle идеален для практики: здесь есть курсы, соревнования и сообщество единомышленников, которое поможет вам учиться новому.

Кстати, уже мы упоминали о том, как выиграть соревнования на Kaggle здесь.

Data Scientist в команду LLM Авито
Удаленно / Гибрид / Офис в Москве

Предстоит: реализовывать LLM-ассистент для покупателей; улучшать внутреннюю LLM... Узнать подробнее 🔵

Сандер Дилеман — учёный-исследователь в DeepMind — уже несколько лет ведёт блог, где публикует глубокие статьи. Из последнего:

⭐ Generative modelling in latent space
⭐ Diffusion is spectral autoregression
⭐ Noise schedules considered harmful
⭐ The paradox of diffusion distillation

Основное направление его исследований — генеративные модели для работы с аудио, видео и изображениями. Если вы слышали о Veo от Google, то Сандер как раз участвовал в её разработке. Так что хотя бы одну статью из его блога стоит прочесть.

Data Scientist в Сбер
От 160.000₽
Офис в Санкт-Петербурге

Предстоит: проведение аудиторских проверок статистических, ML моделей, автоматизированных алгоритмов; диагностирование и поиск проблем в банковских процессах, автоматизированных решениях (моделях, алгоритмах)…. Узнать подробнее 🔵

Как создать ML-команду, которая будет добиваться успехов

Если вы занимаете руководящую должность или же планируете запустить свой стартап в сфере ИИ, то этот пост для вас! Расскажем, какие шаги предпринять, чтобы ваша команда добивалась результатов.

Встречается, что стартапы и даже крупные компании думают, что для успеха в ИИ достаточно нанять пару-тройку Data Scientists. А это большое заблуждение. Успешный ML-продукт — это результат работы слаженной команды, где у каждого своя, четко определенная роль.

Из кого по-хорошему должна состоять команда ИИ-разработки:

🔷 Data Engineer: строит дата-пайплайны инфраструктуру и агрегирует, обеспечивая доступность данных. Часто работает в связке с дата аналитиком, который занимается подготовкой и анализом датасетов. Но встречается, что компании на две должности нанимают одного человека.
🔷 Data Scientist: ищет и подтверждает бизнес-гипотезы, которые можно решить с помощью моделей.
🔷 ML Engineer: превращает прототип в продукт. Деплоит модели, оптимизирует их, настраивает A/B тесты, мониторит производительность и занимается отладкой.
🔷 Research Scientist (часто компании пренебрегают этой должностью): занимается исследованиями, тестирует novel approaches, state-of-the-art методы.
🔷 Product Manager / Business Leader: формирует роадмап, считает метрики и бизнес-impact, общается с клиентами и стейкхолдерами, чтобы команда делала то, что действительно нужно.
🔷 ML Manager: формирует видение ML-продуктов, нанимает таланты, разруливает организационные вопросы.

Допустим, вы уже собрали свою команды из первоклассных специалистов, что же дальше? Держите 7 ключевых шагов:

1️⃣ Выберите правильный кейс.
Если вы находитесь на старте, то первые проекты должны быть быстрыми, с измеримой пользой и высокой вероятностью успеха. Это создаст кредит доверия для будущих клиентов.

2️⃣ Посчитайте импакт до начала работы.
Не начинайте проект, пока не поняли, как будете измерять его успех. ROI в ML — не абстракция, а конкретные бизнес-метрики.

3️⃣ Внедряйте структурированные процессы.
Agile, спринты, код-ревью, версионирование не только кода, но и данных с моделями, — обязательный мастхев. Автоматизируйте рутину, чтобы ресерчеры не тратили 80% времени на подготовку данных, а лучше наймите для этого подходящего специалиста .

4️⃣ Постройте хорошую коммуникацию.
ML — очень сложно для неподготовленного ума. Умение просто объяснять сложные концепции, делиться прогрессом и разруливать митинги — очень важный скил для каждого члена команды.

5️⃣ Взаимодейтсвуйте с бизнес-командами.
Если вы наладили коммуникацию внутри команды, пора приступать за ее пределы. Данные живут и меняются вместе с бизнесом (новые фичи, акции, кризисы). Только тесная связь с бизнесом позволит вовремя скорректировать гипотезы и не запустить "старую" модель.

6️⃣ Создайте систему поощрений. Поощряйте своих коллег: участвуйте в конференциях, подавайте на патенты. Так, ваши подчиненные будут понимать, что их работа — непросто так, а что они действительно приносят пользу. Привлекайте разнообразные таланты — новые люди приносят свежие идеи.

7️⃣ Заявляйте о своих победах.
Обязательно рассказывайте об успехах внутри компании. Это привлекает внимание других отделов (новые заказчики) и мотивирует коллег из других команд переходить в ML. Публичное признание заслуг команды очень сильно мотивирует.

Успех в ML — это на 20% технологии и на 80% правильная команда, с выстроенными процессами и тесная интеграция с бизнесом.

Middle Data Scientist в Mars
Удаленно / Гибрид / Офис

Предстоит: Реализация E2E процесса запуска дата-продуктов в Yandex Cloud Platform: проработка деталей решений с бизнесом, проектирование архитектуры, разработка / рефакторинг модели, разворачивание, мониторинг производительности и точности, развитие и доработки… Узнать подробнее 🔵

Советы по прохождению собеседований, которые помогли утроиться в FAANG:

🟦 Шаг 1: Отправляем заявки в личные сообщения.
Некоторые сайты с откликами имеют ATS-системы, которые отсеивают 90% резюме. Лучше писать напрямую инженерам или HR-менеджерам в личные сообщения. При этом формат сообщений должен быть кратким и по делу: «Добрый день [имя]! Я очень заинтересован в трудоустройстве в [Компанию]. У меня [N] лет опыта в [Навык]. Можете дать реферал?». Результат: несколько предложений о прохождении собеседований за неделю и гарантированный выход на рекрутера.

🟦 Шаг 2: Сокращаем область того, что нужно выучить.
Практика это конечно хорошо, но не увлекайтесь.Проанализируйте Glassdoor, Blind и форумы LeetCode. Компании часто повторяют 10-15 ключевых задач. Найдите их и сфокусируйтесь на:
- Топ-30 популярных вопросов;
- Распознавайте паттерны задач, например вам может попасться проблема скользящего окна, но с изюминкой;
- Проводите мок интервью.

🟦 Шаг 3: Поведенческое интервью.
В FAANG поведенческие интервью — не про «личность», а про структуру. Подготовьте 5 сильных историй по методу STAR (Ситуация, Задача, Действие, Результат). Ключ — цифры: не «помог оптимизировать», а «снизил latency на 40%, сэкономив $500K».

🟦 Шаг 4: Используем процесс в свою пользу.
Попадайте на мероприятия по найму, на таких событиях вы не только выстраиваете коннект с рекрутерами, но и показываете свою заинтересованность в трудоустройстве в эту компанию.

🟦 Шаг 5: Игра на повышение.
Первый оффер — ваш козырь для ускорения процессов в других компаниях. Держитесь как востребованный специалист. Переговоры по схеме: «У меня оффер на $X, сможете улучшить? Хотелось бы оклад/бонус выше рыночного». Итог: +$40K к общему компенсационному пакету.

Lead AI Engineer/Data Scientist
Гибрид / Офис в Санкт-Петербурге

Предстоит: Взаимодействовать с бизнес-заказчиками, а также смежными командами - BI, DWH/ Озеро данных, Качество данных, DevOps
Менторить членов команды с точки зрения технической экспертизы и качества выдаваемых решений… Узнать подробнее 🔵

Senior ML-Engineer
Гибрид / Офис в Москве

Предстоит: Поддержка и совершенство реализованных рекомендательных решений; Поиск новых гипотез по улучшению пайплайнов обучения моделей и добавлению новых признаков; Решение задач, появляющихся при развитии продукта… Узнать подробнее 🔵

MLOps в Магнит Tech
Удаленно / Гибрид / Офис в Москве, Краснодаре, Иннополисе

Предстоит: Разработывать, оптимизировать и рефакторить spark-приложений; Проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD); Разрабатывать архитектуру и оптимизировать систему прогнозирования спроса…. Узнать подробнее 🔵

Middle Data Scientist в Магнит Tech
Удаленно / Гибрид / Офис в Москве, Краснодаре, Иннополисе

Предстоит: развивать существующие алгоритмы и разрабатывать новые подходы; дополнять, улучшать и предлагать доработки в методику оценки качества системы; развивать архитектуру системы прогнозирования…. Узнать подробнее 🔵

Prompt Engineer в Магнит Tech
Удаленно / Гибрид / Офис в Москве, Краснодаре

Предстоит: подбор и тестирование промптов для больших языковых моделей (LLM); настройка поведения модели через примеры, инструкции и контекст; проверка качества ответов: вручную и через метрики; улучшение промптов на основе фидбэка и логов…. Узнать подробнее 🔵

Собеседование в Google на Data Engineer

Если вы, как и мы, задавались вопросом, как проходят собеседования в Google, то приоткрываем завесу тайны:

По словам одного из интервьюеров, процесс занимает от 4 до 8 недель. Первые две недели рекрутеры проверяют ваше резюме. HR смотрят на знание SQL, Python, Hadoop, Spark, Hive и знакомство с облачными платформами, в частности с Google Cloud Platform. Также важно указать в резюме релевантные проекты, которые подчеркнут вашу экспертизу.

⁉️ Советы:

➖ Подчеркните опыт оптимизации пайплайнов данных и обработки данных в реальном времени;
➖ Особое внимание уделите проектам, связанным с миграцией, качеством и безопасностью данных;
➖ Используйте ключевые слова: «технологии больших данных», «облачные вычисления» и «решения на основе данных»;
➖ Составьте резюме так, чтобы показать приверженность миссии Google по организации мировой информации и обеспечению ее повсеместной доступности и полезности.

Телефонный скрининг
Здесь оценивают ваши технические навыки. Обычно этот раунд включает задания по программированию и технические обсуждения.

⁉️ Советы:

➖ Тщательно подготовьтесь к вопросам о технологиях больших данных и управлении базами данных;
➖ Отрепетируйте рассказ о своем последнем и актуальном опыте.

Собеседование в офисе (3-5 часов)
Этот раунд делится на три этапа: задачи по SQL и программированию (смотрят, как вы эффективно обрабатываете и анализируете данные), решение бизнес-задач (включают оптимизацию пайплайнов и облачные решения) и поведенческое интервью, где вы обсудите прошлые проекты, умение сотрудничать и адаптироваться.

⁉️ Советы:

➖ Изучите основные темы по инжинирингу данных: проектирование пайплайнов, облачные вычисления и технологии больших данных;
➖ Изучите продукты Google, особенно связанные с разработкой данных и облачными решениями;
➖ Тренируйтесь давать структурированные и четкие ответы, подчеркивая масштабируемость и эффективность ваших решений.