Telegram Group & Telegram Channel
МЛ дизайн, общий план

#карьера #интервью #career #faang #interview

План ответа зависит от задачи и области, но в большинстве примерно такой. Сейчас тут будет микс языков (я не все знаю на русском).

1. Какую бизнес задачу мы решаем? В чем проблема, что главное, что не очень важно. Наши true north бизнес метрики, safety guardrails. Что сейчас в есть проде (ноль или что-то).

2. Наши constrains (latency, costs, hardware limits, annotation budget, etc.)

3. Какие данные у нас есть, сколько, что с разметкой.

На МЛ дизайн ожидается, что кандидат задаст вопросы, чтобы это понять, а не будет сразу лепить предположения.


Когда мы думаем, что поняли задачу:

4. Выдаем high level design с опциями (так и говорим, что дадим high level, а потом углубимся. Заодно спросим интервьюера, в какие пункты плана лучше углубиться, ведь время ограничено).

5. Переформулируем задачу в задачу МЛ (классификация, регрессия, next token prediction, clustering...) Возможны варианты, озвучте несколько.

6. Оффлайн метрики (онлайн обсудили в пункте 1, когда разбирались, что нужно бизнесу). Накидать можно много, но стоит выбрать главную True north metric и safety guardrails.

7. Данные. Как будем готовить. Будем ли размечать, как. Какие сигналы и фичи использовать, как делать preprocessing и т.д. с оговоркой, что feature eng/ preprocessing зависит и от выбора моделей.
Что будем делать с cold start и/или если данных нет.

8. Модели и tuning: несколько подходов по возрастанию сложности. Обязательно их proc and cons. Почему они.
Потом выбрать один подход и хорошо его рассказать. Спросите интервьюера, в какой метод они желают углубиться.

9. Тренировка. Валидация. Тест. Бенчмарки.
Как выбираем модель для прода.

10. Катим в прод. Оптимизация inference (at scale). Инфраструктура? (Часто не нужно на МЛ дизайне, но иногда да, спросите интервьюера)

11. Онлайн тесты. Тут про а/б тесты, выборку, метрики бизнеса и т.д.

План озвучиваем сразу во время high level design.
Потом идём по пунктам, периодически сверяемся, где углубиться. Не все пункты хотят слышать во все компании. Часть про инфраструктуру, например, часто можно опустить.
Еще: не все захотят углубиться в модели, кто-то может захотеть углубиться в данные или метрики. Будьте флексибильны. В high level design укажите все, а потом уже углубляйтесь по ситуации, считывайте сигналы с интервьюера.

Продолжение следует...



group-telegram.com/tatiwonderland/61
Create:
Last Update:

МЛ дизайн, общий план

#карьера #интервью #career #faang #interview

План ответа зависит от задачи и области, но в большинстве примерно такой. Сейчас тут будет микс языков (я не все знаю на русском).

1. Какую бизнес задачу мы решаем? В чем проблема, что главное, что не очень важно. Наши true north бизнес метрики, safety guardrails. Что сейчас в есть проде (ноль или что-то).

2. Наши constrains (latency, costs, hardware limits, annotation budget, etc.)

3. Какие данные у нас есть, сколько, что с разметкой.

На МЛ дизайн ожидается, что кандидат задаст вопросы, чтобы это понять, а не будет сразу лепить предположения.


Когда мы думаем, что поняли задачу:

4. Выдаем high level design с опциями (так и говорим, что дадим high level, а потом углубимся. Заодно спросим интервьюера, в какие пункты плана лучше углубиться, ведь время ограничено).

5. Переформулируем задачу в задачу МЛ (классификация, регрессия, next token prediction, clustering...) Возможны варианты, озвучте несколько.

6. Оффлайн метрики (онлайн обсудили в пункте 1, когда разбирались, что нужно бизнесу). Накидать можно много, но стоит выбрать главную True north metric и safety guardrails.

7. Данные. Как будем готовить. Будем ли размечать, как. Какие сигналы и фичи использовать, как делать preprocessing и т.д. с оговоркой, что feature eng/ preprocessing зависит и от выбора моделей.
Что будем делать с cold start и/или если данных нет.

8. Модели и tuning: несколько подходов по возрастанию сложности. Обязательно их proc and cons. Почему они.
Потом выбрать один подход и хорошо его рассказать. Спросите интервьюера, в какой метод они желают углубиться.

9. Тренировка. Валидация. Тест. Бенчмарки.
Как выбираем модель для прода.

10. Катим в прод. Оптимизация inference (at scale). Инфраструктура? (Часто не нужно на МЛ дизайне, но иногда да, спросите интервьюера)

11. Онлайн тесты. Тут про а/б тесты, выборку, метрики бизнеса и т.д.

План озвучиваем сразу во время high level design.
Потом идём по пунктам, периодически сверяемся, где углубиться. Не все пункты хотят слышать во все компании. Часть про инфраструктуру, например, часто можно опустить.
Еще: не все захотят углубиться в модели, кто-то может захотеть углубиться в данные или метрики. Будьте флексибильны. В high level design укажите все, а потом уже углубляйтесь по ситуации, считывайте сигналы с интервьюера.

Продолжение следует...

BY Tati's Wonderland


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/tatiwonderland/61

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

It is unclear who runs the account, although Russia's official Ministry of Foreign Affairs Twitter account promoted the Telegram channel on Saturday and claimed it was operated by "a group of experts & journalists." If you initiate a Secret Chat, however, then these communications are end-to-end encrypted and are tied to the device you are using. That means it’s less convenient to access them across multiple platforms, but you are at far less risk of snooping. Back in the day, Secret Chats received some praise from the EFF, but the fact that its standard system isn’t as secure earned it some criticism. If you’re looking for something that is considered more reliable by privacy advocates, then Signal is the EFF’s preferred platform, although that too is not without some caveats. The account, "War on Fakes," was created on February 24, the same day Russian President Vladimir Putin announced a "special military operation" and troops began invading Ukraine. The page is rife with disinformation, according to The Atlantic Council's Digital Forensic Research Lab, which studies digital extremism and published a report examining the channel. 'Wild West' But because group chats and the channel features are not end-to-end encrypted, Galperin said user privacy is potentially under threat.
from in


Telegram Tati's Wonderland
FROM American