Что думают все друзья, когда я говорю, что работаю с ИИ 😐

Менеджер по анализу больших данных в Теле2
Офис / Гибрид в Москве

Предстоит: Выдвигать и проверять гипотезы, внедрять улучшения, оценивать их эффективность; Подготавливать отчеты на базе текущих источников; Систематизировать и анализировать полученную информацию... Узнать подробнее 🔵

Что нужно знать, чтоб устроиться Дата-Аналитиком?

Data Analyst — специалист, который в основном занимается подготовкой данных и их визуализацией, еще иногда можно встретить обязанности по проверке гипотез.

Минимальными навыками для аналитиков данных — знание python (numpy, pandas, matplotlib), SQL, PowerBI/Tableau/QlikView, статистика, реже в вакансиях встречается Excel и R.

Интервью на Data Analyst ничем не отличается от других должностей — созвон с рекрутером, чтобы узнать кто вы/что вы, техническое интервью, где вы решаете поставленную проблему и рассказываете про прошлые кейсы, и финальное интервью, где упор сделан на софт скилы.

Вот пример реального интервью Data Analyst в LetsGetChecked:
В описании вакансии внимание уделялось проверке данных и обеспечению их качества в сфере здравоохранения. В качестве требований к кандидату было:
➖ Проверка и интерпретация данных, выдвижение гипотез;
➖ Написание запросов T-SQL и опыт работы с BigData;
➖ Стек: AWS, PowerBI/Tableau, Github/Bitbucket, Python/Powershell, Redshift DW, Jira, GitLab и Confluence;
➖ Мониторинг и аудит качества данных.

🔷 Раунд 1: телефонное интервью.

Примерно через неделю был телефонный созвон. Во время этого звонка рекрутер в первую очередь сосредоточился на опыте и оценил знакомство с компанией.
Примерные вопросы:
Расскажите о себе?
Что вы знаете о LetsGetChecked?
Почему вас интересует должность аналитика данных, а не инженера данных?

🔷 Раунд 2: Первое техническое собеседование.
Оцениваемые компетенции: сотрудничество, технические знания и умение решать проблемы.

В этом раунде интервьюеры в первую очередь сосредоточились на ситуационных вопросах, связанных с командной работой, тестированием ПО и подходами к проверке данных. Они хотели понять, как я сотрудничал с другими и преодолевал трудности в прошлых проектах в отношении данных.

❓Примеры вопросов:
- Какие шаги или структуру вы используете для проверки данных и обеспечения их соответствия бизнес-требованиям?
- Как вы отлаживаете неожиданные значения NULL, которые появляются только в месте назначения, но не в источнике?
- Модели Agile и Waterfall: какую из них вы бы выбрали, учитывая сценарий?
- Как вы справляетесь с проблемами, когда ваша команда испытывает трудности?

🔷Раунд 3: Оценка.

Для этого раунда я получил документ, содержащий 10 реальных задач Transact-SQL вместе с БД MS SQL Server. Задача включала понимание всех таблиц БД, анализ модели данных и написание расширенных SQL-запросов для решения этих задач.
При изучении набора данных важно развить некоторые знания предметной области, чтобы точно интерпретировать результаты.

Примечание: будьте терпеливы; требуется обширное исследование таблиц. Вы также должны определить как прямые, так и косвенные связи между таблицами.
Были 3 простых вопроса, 5 вопросов среднего уровня и 2 сложных вопроса.

❓Примеры заданий:
Рассчитать продажи с начала года (SalesYTD) с указанной даты до даты окончания отчетного года.
Найдите 10 лучших сотрудников, у которых есть степень бакалавра и которые достигли самых высоких продаж.

Финальный раунд 4: Тех. собеседование.
Оцениваемые компетенции: тех.экспертиза, решение проблем и софт скилы.

Первые 30 минут раунда были сосредоточены на объяснении моего кода SQL. В это время интервьюеры задавали подробные вопросы о них. В следующие 30 минут они задавали углубленные вопросы, охватывающие как технические, так и поведенческие аспекты.
Примеры:
Объясняя мои запросы, они спрашивали, как я могу их оптимизировать?
Выберите дату, max(date2) из ​​таблицы1;
Каков вывод запроса?
Union или Union All?

Весь процесс собеседования занял около 3 недель.

Основные выводы по процессу найма:
➖ При планировании собеседований уделяйте как можно больше времени подготовке.
➖ Убедитесь, что ваши объяснения понятный и не отходят от темы.
➖ Сосредоточьтесь на читабельности и оптимизации при построении запросов.
➖ Задавайте соответствующие вопросы в конце каждого собеседования, чтобы показать свою заинтересованность в должности.
После всех собеседований запланируйте отдельную встречу для обратной связи, которая поможет вам в будущем.

Senior Database Administrator в Match Systems
От 3.000$
Удаленно / Гибрид / Офис

Предстоит: Поддержка HA PostgreSQL кластеров; Проектирование архитектурных решений и доработка существующих; Мониторинг, резервное копирование и тестирование резервных копий, анализ производительности... Узнать подробнее 🔵

Data Scientist в ecom.tech
Удаленно / Гибрид / Офис

Предстоит: Строить модели оптимизации, и решать их. Модели как линейного/линейно-целочисленного программирования, так и модели программирования в ограничениях; Взаимодействовать с бизнесом, понимать их ограничения, описывать плюсы и минусы различных подходов к оптимизации... Узнать подробнее 🔵

Как российские тех-компании работают с данными

Наткнулись на любопытное исследование: К2Тех провел опрос среди 100 различных российских компаний. Среди опрошенных IT-директора, аналитики и дата-инженеры. Результаты вышли довольно любопытными.

➡️ В ходе опроса оказалось, что 25% компаний испытывают сложности с интеграцией данных их различных источников, при этом 21% вовсе несут денежные потери из-за низкого качества данных.

➡️ В ходе опроса также выяснилось, что для повышения эффективности работы с данными 31% компаний оптимизируют процессы сбора и хранения данных, 25% инвестируют в автоматизированные инструменты очистки, а 20% делают акцент на обучении сотрудников правильному обращению с данными.

Лидеры рынка предпочитают выстраивать экосистемы управления данными, которые охватывают весь технологический цикл: от сбора и обработки до аналитики и машинного обучения. Данные превратились из вспомогательного ресурса в ключевой актив, - комментирует руководитель направления Big Data & BI К2Тех.

В целом, примерно 3 из 4 компаний планируют увеличить инвестиции в Big Data к 2026 году. Поэтому неплохо бы вспомнить о том, как работать с данными.

Senior Data Engineer
Удаленно / Гибрид / Офис в Москве, Санкт-Петербурге, Новосибирске
(Рассматриваются кандидаты только из РФ)

Предстоит: Разработка с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform; Мигрирование существующих пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse)... Узнать подробнее 🔵

RL – с чего начать?

Обучение с подкреплением – это один из самых известных разделов машинного обучения. Сейчас оно используется почти везде, особенно активно в робототехнике и больших языковых моделях. Особую популярность RL обрело после победы модели AlphaGo от DeepMind в чемпионате мира по Go в 2016 году.

Для тех, кто давно планировал погружение в RL, мы составили небольшой роадмэп того, что стоит изучить:

1️⃣ Виды RL. Помимо основных концепций: агент, среда, состояние, действия, награды, необходимо также знать, на какие типы делится обучение с подкреплением. Обычно это положительное подкрепление, отрицательное подкрепление, положительное наказание и отрицательное наказание.

Положительное подкрепление — это поощрение после выполнения действия. Мы даем поощрение, и это приводит к повтору верного действия в будущем. В отрицательном подкреплении, чтобы повысить вероятность повторения действия в будущем, наоборот, удаляют нежелательный стимул. Например, у вас болит голова, тогда вы принимаете таблетку. В данном случае вы повторите прием таблетки в будущем, чтобы удалить нежелательный стимул (боль).

Положительное наказание — это добавление нежелательного стимула после выполнения определенного неверного действия для того, чтобы снизить вероятность повтора. В отрицательном наказании, наоборот, убирается желательный стимул, что также снижает вероятность повторения действия.

На примере: если ребенок ведет себя плохо, то нежелательным стимулом станет порицание родителей. Это будет положительное наказание. Если же ребенок принес плохую оценку, то родители могут забрать у него игрушки. Это уже будет отрицательное наказание, то есть удаление желательного стимула.

Изучение лучше начать именно с положительного подкрепления и положительного наказания. Почитайте теорию и попробуйте обучить простенькую змейку.

2️⃣ Изучите основные алгоритмы. Если с типами более-менее разобрались, то RL-алгоритмы можно разделить на два вида: жадные (те, которые ищут максимальную выгоду на текущем шаге) и те, что стараются максимизировать общий результат. К первой категории таких алгоритмов как раз относятся Epsilon-Greedy и Greedy Policy Improvement, а ко второй — Q-learning, SARSA и DQN.

3️⃣ Даже если вы уже изучили линал, статистику и классический ML, то для RL этого будет недостаточно. Необходимо дополнительно изучить теорию по марковским процессам. Хорошая новость в том, что все-все знать необязательно (но рекомендуется), достаточно изучить только марковские процессы принятия решений (MDPs). В крайних случаях помогает изучение частично наблюдаемых марковских процессов (POMDP), которые могут быть полезны тогда, когда информация о состоянии агента не полная.

4️⃣ Доп. ресурсы. Разумеется, не обойтись без книги "Обучение с подкреплением" Ричарда Саттона и Эндрю Барто. 5-минутные лекции по MDPs и лекции от университета Waterloo по POMDP. Еще рекомендуем пройти бесплатный курс по RL от Hugging Face.

Senior Data Scientist
From 4.500 to 9.000€
Remote / Hybrid Cyprus, Poland

What to do: Work with large-scale data from various sources to develop ML models for (Predicting LTV, Segmenting users, Detecting anomalies); Develop algorithms to personalize the gaming experience; Analyze and validate model accuracy.... find out more 🔵

Подборка открытых вакансий 🔵

Стажер/Junior Research ML в Яндекс

Junior Data Analyst в ПСБ
Офис / Гибрид в Москве

Junior/Middle Data Scientist в Ozon

Middle+/Senior Data Scientist в ecom.tech
Удаленно / Офис / Гибрид

Senior Data analyst в Wildberries
Офис / Гибрид в Москве

Senior ML-Engineer в Самолет
Удаленно

Senior Data Analyst в VK Team
Удаленно / Офис / Гибрид в Москве и Санкт-Петербурге

Работа в промышленности VS в академической среде

Когда только-только заканчиваешь ВУЗ, перед тобой открываются все двери. Но вот незадача, какую из дверей выбрать — академические круги или работа в компании? Чтобы ответить на этот вопрос, приведем основные различия этих двух сфер:

➖ Первое различие начинается еще с подачи резюме:

если в промышленности ценится ваш опыт работы, используемые технологии и влияние на бизнес, то в академической среде больше внимания уделяется научным публикациям, рецензированию, а еще выданным грантам или организации различных семинаров.

➖ Финансирование

В академической среде работа чем-то напоминает фриланс: исследователи берут краткосрочные контракты, привязанные к источнику финансирования или грантам. В компаниях же все проще — за свою работу вы получаете зарплату.

➖ Увольнения

На первый взгляд может показаться, что нет никакой разницы. Но есть одно маленькое отличие: в университете после получения докторской степени рекомендуют поменять ВУЗ, причем даже если вы его поменяете, то чаще всего работа с тем же университетом может продолжаться. Чего не скажешь о компаниях, которые после увольнения закрывают доступ к учетной записи и оборудованию.

➖ Рабочие задачи

Если вы хотите заниматься научной деятельностью в стенах ВУЗов, то в ваши обязанности помимо исследовательской работы входит еще и преподавание (хотя могут обязать преподавать и программистов). При этом в промышленности требуют гораздо меньше научных публикаций, чего не скажешь об исследователях, которые тратят большую часть времени на создание своих статей. Хотя в компаниях статьи заменяются внутренней документацией, но это все равно нельзя назвать полноценной научной работой.

➖Свобода выбора

Часто компании ограничены сферой своей деятельности, чего не скажешь об ученых в стенах университетов, которые могут выбрать интересующую их нишу. Но и здесь палка о двух концах: существует большой риск, что академик поддастся искушению и начнет гнаться за трендами.

➖Зарплаты

Если вы не супер гениальный исследователь, который стабильно получает финансирование или гранты, то ваша зарплата может быть ощутимо ниже, чем у коллеги из промышленности.

➖Вклад в опенсорс

Часто в компаниях есть закрытые разработки, которые могут ограничивать общение с другими коллегами. Если вам важно обсуждать идеи со всеми, то академическая среда для вас.

Junior Data Scientist в Сбер
От 120.000₽
Офис в Санкт-Петербурге

Предстоит: исследовать новые источники данных, формировать новые признаки, проводить их оценку на значимость и стабильность во времени; собирать выборки и заниматься предобработкой данных из различных источников для обучения и валидации моделей... Узнать подробнее 🔵

Сколько платит Google своим инженерам?

Это, конечно, не стартапы, поэтому средняя зарплата инженера чуть ниже и достигает 340 000$. Если смотреть более детальнее, то для специалистов из DS зарплатные предложения варьируются в следующих диапазонах:

⭐ Data Engineer: от 111 000$ до 175 000$

⭐ Data Scientist: от 133 000$ до 260 000$

⭐ Research Scientist: от 155 000$ до 303 000$

В последние месяцы Google не спешит вводить агрессивную политику в отношении найма сотрудников, чего не скажешь о ближайших конкурентах 😐

Любопытно, что пока конкуренты ведут политику пряника, предлагая высокие зарплаты и премии, Google, наоборот, используют кнут: призывают работать больше, урезают зарплаты или вовсе не дают трудоустроиться после увольнения.

Нашли пару советов для Data Engineer

Инженер с опытом работы в 4 года поделился своими мыслями и советами, касательно решения рабочих задач на должности Data Engineer:

1️⃣ Обработка данных — может быть быстрее, чем ты думаешь.

Многие считают, что быстрое выполнение традиционных ETL-запросов невозможно. Большинство считает, что пайплайны, обрабатывающие большие объёмы данных, должны занимать часы. В действительности большинство задач можно решить в режиме реального времени (время запроса менее 1 секунды) с использованием меньшего числа оборудования. Хороший дизайн всегда важнее оборудования.

2️⃣ Не все данные нужны — не забывайте их чистить.

Подавляющее большинство проектов сохраняют данные, которые никогда не используются (иногда более 90%). И обрабатывают их. Каждый день/час/минуту. Никто об этом не думает.

3️⃣ Узнавайте как работает тот или иной инструмент.

Люди сосредоточены на изучении инструментов, что, конечно, хорошо, но при этом забывают о принципах. Не могу сосчитать, сколько раз я видел, как кто-то выполнял SQL-запрос, который мог бы выполняться в 1000 раз быстрее, просто правильно отсортировав данные. Проблема в том, что они в совершенстве знают, как использовать Spark/Snowflake/BigQuery, но никогда не тратят день на то, чтобы разобраться, как эти штуки работают изнутри. И поверьте, есть 3-4 базовых понятия, которые дают вам 80% необходимых знаний.

4️⃣ Данные не всегда будут верными.

Большинство проектов исходят из того, что данные всегда будут верными и вам не придётся их исправлять. Все, опять же, все совершают ошибку, загружая одни и те же данные дважды. Это случается постоянно, и если вы не продумали это, ваш ETL-процесс превратится в ад, и вам придётся потратить уйму времени на исправление данных в рабочей среде.

5️⃣ Не забывайте про мониторинг данных.

Приём данных составляет 80% работы, но обычно он даже не отслеживается. Существует 100 способов, при которых INSERT может завершиться сбоем или замедлиться. Данные, которые вы не можете принять, нарушают весь ваш пайплайн, и эти ошибки остаются незамеченными. Вы видите данные в своих SQL-запросах и понимаете, что проблема существует, когда уже слишком поздно и объём данных слишком велик.

Качество данных похоже на модульное тестирование, но в условиях эксплуатации. Тестирования конвейеров в непрерывной интеграции (а этим занимаются всего 10% пользователей) недостаточно — необходим непрерывный мониторинг.

6️⃣ Помните про возможности оборудования.

Большинство людей не имеют интуитивного представления о том, что может и не может современное оборудование. Есть простая арифметика, которая может помочь вам в этом: «на одном компьютере можно обработать около 500 МБ за секунду». Я знаю, что это не абсолютная истина, и есть множество деталей, которые могут её изменить, но поверьте, эта оценка — довольно полезный инструмент, который стоит иметь под рукой.

AI-Архитектор (LLM)

Предстоит: Разработка архитектурных решений для AI-приложений с учетом требований клиентов и современных технологий Участие в пресейлах: квалификация и анализ входящих запросов на AI разработку, оценка проектов и взаимодействие с клиентами для уточнения требований…Узнать подробнее 🔵

Team Lead Data Scientist
Удаленно / Гибрид / Офис в Москве

Предстоит: Персонализировать рекламные предложения: прогнозировать CTR для товаров и баннеров, сегментировать клиентов для более эффективного таргетинга рекламных кампаний; Улучшать эффективность аукциона: разрабатывать алгоритмы определения оптимального размера ставки в аукционе для разных селлеров и плейсментов (каталог, поиск, блоки рекомендаций) …Узнать подробнее 🔵