👨🏻‍💻 Ошибки при оценке SRM

Я уже написал несколько постов про SRM, поэтому подробно рассказывать про это не буду. Сегодня поговорим про 2 ошибки при проверке выборок на дисбаланс.

Когда мы задали конфиг деления наблюдений в АБ тесте 50/50, то ожидаем, что получим близкое деление к запланированному. Проверить корректность деления можно при помощи стат. критерия хи2.

С одной стороны все просто, с другой как всегда есть нюансы. Сегодня поговорим про 2 ошибки, которые можно допустить при оценке SRM.

🛑 Выбор единицы анализа, вместо единицы рандомизации для оценки SRM
Зачастую сплитование происходит по пользователям, а для анализа результатов АБ теста иногда используют метрики посчитанные по сессиям.

Некоторые не задумываясь о различии пользователей и сессий, могут взять сессии для оценки SRM, но это не верно, т.к. сплитование происходило по пользователям, а сессия это некоторая производная от пользователя.

Различия в тестируемых вариантах может влиять на число сессий, которое сгенерирует пользователь в каждом из вариантов экспа, а значит такая сущность как сессия не подойдет для оценки SRM. Есть пример в этом посте

🛑 Оценка SRM по пользователям по дням
Берем каждый день всех пользователей попавших в эксперимент и оцениваем SRM. Тут хотя мы и берем в качестве анализа пользователя, но один и тот же пользователь мог возвращаться в разные дни, а возвращаемость это опять таки производная от пользователя.

На нее может воздействовать само экспериментальное изменение, т.е. даже при корректном сплите вы можете получить разную возвращаемость в группах.

Вы будете видеть дисбаланс при таком методе подсчета. Кроме этого важно помнить, что хи2 как и любой стат критерий имеет ошибку первого рода и чем больше сравнений вы сделаете тем больше вероятность допустить ошибку первого рода и найти дисбаланс там где его нет.


✅ Как проверять SRM?
1. Для оценки SRM нам важно брать в качестве наблюдений именно единицу рандомизации, т.е. если ваша сплит система делит по пользователям, то нам нужны id пользователей.

2. Учитывать каждое наблюдение (пользователя) нужно только 1 раз в выборке, независимо от того сколько раз он вернулся в продукт.

3. Производить подсчет SRM для АБ теста тоже желательно только 1 раз, чтобы держать ошибку первого рода в рамках альфы, либо применить какую-то поправку для корректировки альфы.

Машина со сгоревшим сцеплением
Вы когда-нибудь ехали на машине со сгоревшим сцеплением? Вот вы едете по дороге, хотите ускориться, втыкаете передачу повыше, жмете газ в пол, мотор рычит, а машина еле-еле ускоряется.

Вот у меня последнее время какое-то такое ощущение. Что-то делаю, пытаюсь газовать по разным фронтам, вроде правильные действия делаю, а ускорения нет, как буд то что-то сломано. Кажется, что можно быстрее, выше, сильнее, есть потенциал, есть силы, но оно не работает😑 Бывало такое?

У NEWHR вышла ежегодная подборка "за кем следят аналитики?"

Там список экспертов и каналов. Спасибо, что упомянули мой канал. В закрытый список экспертов я не попал, но попал в рейтинг вне списка.

Т.е. люди предлагали свои варианты экспертов и каналов в поле для свободного ответа. А это даже возможно круче, т.к. одно дело когда тебе дали список и ты выбираешь, а другое, когда надо вспомнить эксперта😁

Очень рад, что читаете меня, надеюсь что мой контент несет вам пользу и рост🔥

Буду рад если под этим постом напишете обратную связь по моему каналу. Что нравится? Как он вам помог? Может наоборот, что-то плохо или хочется какой-то новый формат?

Обратная связь помогает мне развивать канал, жду вас в комментариях ✍️

Ссылка на лендинг где можно получить список

Незакрытый гештальт

Всю дорогу на пути аналитического развития меня двигали незакрытые гештальты.

Когда я пришел работать в маркетинг меня всегда мучали вопросы, а как понять что именно нужно делать чтобы получить рост прибыли? А как оценить результат?

Поэтому я всегда изучал аналитические подходы и инструменты. Каждый раз это выглядело как вызов, "а смогу ли я это изучить и найти где применить?"

✔️ Узнал, что с помощью веб-аналитики можно изучить поведение юзеров → изучил → внедрил.

✔️ Узнал, что с помощью исследований можно повысить точность решений → изучил → внедрил.

✔️ Узнал, что с помощью системы сквозной аналитики можно считать окупаемость до денег → изучил → внедрил.

✔️Узнал, что с помощью sql, bi, python можно решать большинство аналитических задач → изучил → внедрил.

✔️Узнал, что с помощью АБ тестов можно сравнивать эффективность разных решений → изучил → внедрил.

В каждое из этих направлений все еще можно углубляться и совершенствоваться, но для себя я больше не вижу в этом каких-то глобальных вызовов.

Можно конечно идти в ML, но лично меня не привлекает это направление, я не хочу становиться ML-инженером.

Поэтому в конце года я задумался о том куда мне интересно развиваться, пока у меня нет готового ответа.

Наблюдая за собой в течении года я пришел к выводу, что мне нравилось заниматься вопросами популяризации АБ тестов в банке, проведения митапов, участия в конференциях , помогать коллегам разобраться с АБ тестами. Я бы сказал, что мне нравится создавать пространство для развития людей и компаний в аналитическом направлении.

А вы куда хотели бы развиваться в 2025?

Ну что всех с наступающим новым годом, проведите праздничные дни на полную катушку 📣🎶🚀
Лично я планирую разгрузить голову, не думать ни о чем аналитическом, а наоборот сконцентрироваться на работе руками и получать приятные впечатления душой и телом.

За период праздников планирую:

1. Тусить с друзьями на турбазе, возможно выбраться куда-то на холмы и пригорки, побродить по снегу или какому-то лесу
2. Пострелять зомбаков на арене виртуальной реальности в большой компании
3. Посетить с экскурсией доменный цех Магнитогорского металлургического комбината. Посмотреть как льется жидкий метал и 20 метровые печи
4. Сходить в баню
5. Переделать домашние дела из серии, подкрутить полку, починить стул и прочее
6. Покататься на коньках
7. Сходить к врачу
8. Ходить по гостям

Так что желаю вам отдохнуть от компуктеров и телефонов тоже, чтобы перезарядить свои батарейки. Увидимся в новом году☕️