Характер моей работы в гугле. Часть 2
#career #google

Часть первая была тут.

О команде

Нас 25 человек, разбросаны по всей Европе: по 5 в Лондоне, 4 в Париже, по 1-2 чел. в Амстере, Стокгольме, Мадриде, Копенгагене и т.д. Идея – быть ближе к клиентам, есть у нас и Языки, но в основном вся работа, конечно, на английском. Сейчас я в проекте с испанцами, и ради меня одного все переходят на английский (знакомое мигрантам чувство). Кстати, испанка со мной в проекте – топ! Она уже 10 лет в Гугле, работала раньше в СФ, так что привыкла к немного другому ритму работы. Кодит прямо на митингах (так что для нее митинги – это подкасты по сути), но я так даже не буду пытаться. Вторая коллега, с которой много работаю – голландка, бодрая, энергичная, отлично шарит в облачном бизнесе и продажах. Как у многих голландцев, английский у нее почти как родной. Это к слову, что если испытываете синдром самозванца – это нормально.

Бэкграунд в команде разнообразный: примерно половина – гуглеры, половина – пришедшие извне, как я. Кого-то переманили из Microsoft, BCG, Databricks, кого-то просто на рынке нашли. Как мне сказал эйчар, не было ресурсов собеседовать прям очень многих (до собесов пускали буквально несколько кандидатов на позицию), поэтому эйчары проводили жесткий отсев, детально изучая очень многие резюме. Думаю, мне помогли и лычки пхд и кэггл, и всякие метрики типа звезд на гитхабе, но прежде всего, конечно, релевантная предыдущая роль. Из интересного: перед “casual talk” с Director of AI, та почитала мой пост в блоге “To Ph.D. or not to Ph.D”, и ей очень зашло (это про то, что никогда не знаешь, какая именно твоя активность “выстрелит"). Кстати, Ph.D.-степени примерно у половины членов команды, в том числе у моего менеджера и скипа. Не думаю, что навыки пхд как-то помогают в работе, просто к тому, что лычка помогает при отборе. Ну и уважают, конечно, навык дотаскивания этого чемодана без ручки до цели, a.k.a. getting things done.

О моей роли

Стафф в бигтехе – это не менеджерская, а IC-роль, так что я работаю руками (хоть мама, конечно, считает это понижением в сравнении с Эльсивром, где я был синьор менеджером 😂). Ожидается, конечно, что стафф будет делать много всего поверх работы в проектах, например, комьюнити тащить или круто контрибьютить в OS. Но я пока ушел почти all-in в техническую часть, тут есть в чем нагонять. Из “легких побед” - сделал сайт команды, периодически пингую коллег и описываю наши проекты на сайте. Мне всегда интересно было, что люди пилят рядом с тобой, как бы почерпнуть опыт, крутые наработки, узнать про разложенные грабли. Получается двойная выгода: и для нашей команды, и другим гуглерам рассказать, кто мы вообще такие. Рекомендую, в-общем.

О продажах

Мне бегать продавать ничего не нужно. Хоть формально мы и числимся техническим pre-sales, то есть с помощью технически крутого MVP “продать” клиенту контракт. Но есть AI sales specialists и Field Sales Representatives, вот они продают. Они свое дело знают, даже курсы по GenAI проходят, так что совсем булщит обычно не прилетает. До нас проекты доходят, в идеале, когда продажники и customer engineers уже смекнули, что как, какие технологии нужны, сколько ожидается дохода. И мы врываемся уже чисто прототип пилить. В реальности, конечно, пока это так не работает (пока команда молодая и про нас особо не знают), и мы в том числе участвуем на этапах Discovery & Design – в генерации и приоретизации идей. Это уже очень похоже на классический консалтинг.

Первые проекты в Google Cloud
#projects #google

После медового месяца в виде летнего онбординга вдруг пришлось и поработать. Оба моих первых проекта так или иначе были связаны с чатботами 👨‍🦳

У Гугла есть огромная софтина Dialogflow (сейчас называется Conversational Agents, история нэйминга примерно как с Hangouts/Allo/Duo/etc). Dialogflow поддерживает кучу разных сценариев обращений в поддержку и автоматизирует их с помощью if/else, и традиционного ML, а с недавних пор досыпают и GenAI, конечно. Благо, в сам Dialogflow мне не пришлось лезть, но уже второй раз строю LLM-решения вокруг него, и это весьма увлекательно.

С большим оранжевым нидерландским банком мы делали challenger LLM, чтоб проверять, что там чатбот наотвечал и отлавливать галлюцинации и всякие неточности. Концепция «harmful incorrect” ответов сильно шире простых галлюцинаций, она определялась деревом примерно из 10 вопросов типа «нужны ли нам тут персональные данные, чтоб ответить на вопрос?», «в контексте достаточно информации, чтоб ответить?», «содержит ли ответ транзакционную информацию?» и т.д. И вот наша LLM отвечала на эти вопросы, плюс интересной подзадачей было сгенерировать реалистичные синтетические данные, поскольку реальных кейсов плохих ответов бота было очень мало. Кстати, ответы LLM на десяток вопросов визуализируются путем в дереве, и тут мне литкод пригодился (пост).

В проекте с испанским агрегатором полетов eDreams мы строили LLM-решение, чтоб понять интент человека и отправить его дальше в нужный сценарий Dialogflow или к кожаному помощнику. Типичный проект с LLM: мольба, чтоб оно тебя поняло, попытки обуздать зверя. Было и веселое: Prompt Optimizer докинул почти 10 пунктов, поисследовали LangGraph. И в целом испанцы очень бодрые ребята. Защищали проект вживую, в четверг встал бодрячком в 4 утра, вернулся в тот же вечер в 11. Барселоны особо не видел, но зато нас хвалил их CTO, наш же Director AI, прототип мы сразу передали в руки другой гугловской команде для деплоя. Испанки при встрече целуются два раза… в-общем, все очень позитивно прошло.

Вчера начал новый месячный забег, для разнообразия не чатботы, а поиск. В отличие от первых двух, тут я лид, так что вплоть до католического Рождества будет бодро.

Как ллм вращают шарик в полигоне
#llm

У меня все команда на сходке в Лондоне, а я не получил визу (оставайтесь на связи, в канале будет больше историй про проблемы первого мира), так что вот моя работа на сегодня.

Что, как там модельки рисуют шарик, барахтающийся внутри вращающегося шестиугольника? Идея не новая, подглядел на LI и даже в инсте. Покидал один и тот же промпт в несколько флагманских llm, просто через UI, как простые домохозяины, не платящие $200/мес за аги.

Write a Python program that simulates a ball bouncing inside a spinning hexagon, with gravity and friction affecting its movement, ensuring realistic bounces off the rotating walls
Результаты от худших к лучшим:

❌ Gemini Pro 1.5 – вообще мимо, оставил в одном месте hex_vertices = и устал;
❌ Gemini Pro 1.5 Deep Research – не лучше, долго думал-анализировал да где-то на tuple навесил несуществующий метод;
❌ Gemini Flash 1.5 – полигон не вращается, шарик летает, как отпущенный воздушный;
🔠 GPT-4-turbo: отрисовал вращающийся полигон, но сразу уронил шарик сквозь стену;
🔠 Claude Sonnet 3.5: все неплохо, но шарик поскакал да упал сквозь стенку. GIF в посте – про клод;
✅ Gemini experimental 1206: все идеально;
✅ Deepseek V3: все идеально.

UPD:
✅ o3-mini-hard: идеально;
❌ Deepseek R1: вдруг напортачил, шаров два, прилипли к стенкам.

Предстоящий выход Gemini 2.0 будет мощным. Ну и DeepSeek хорош, да. Я все равно подобрал стоки нвидии на распродаже, но дипсик по делу нашумел (вывод слишком громкий для моего быстрого эксперимента, но все равно).