📣 Всем новоприбывшим в канал - салют!

Давайте знакомиться, расскажите о себе. Чем занимаетесь, чем интересуетесь? Может у вас есть блог или продукт? Может вы ищите работу или наоборот сотрудников?

Еще у нас есть чат, где мы с участниками периодически обсуждаем АБ тесты и разные продуктовые вопросы. Залетайте в чат и пишите о себе в комменте под этим постом.

Помните я писал пост про 8 принципов, которые беру с собой в 2025 год.

Весь январь я старался их придерживаться и хочу поделиться тем к чему это привело.

Сразу скажу, что по ощущениям очень сильно бустанул сферы, которые отставали - это здоровье интересные движухи и путешествия.


1. Горы. 2 раза выбирался в горы на 3-5 часов с друзьями, приходилось тропить, довольно выматывает. Пытались найти замерзший водопад, но не успели дойти до темноты.

2. Прикольные движухи. Съездили на экскурсию на металлургический комбинат в литейный цех. Поиграли на арене виртуальной реальности. Посетил концерт. Отдохнул на турбазе.

3. Скинул 6 кг веса за 23 дня. Возобновил занятия в тренажерном зале.

4. Посетил 3 врачей и прошел 2 курса лечения.

5. Победил внутреннего бомжа и купил себе iPhone 15 pro max. Давно могу себе его позволить, но 5 лет ходил с realme, убеждая себя что iPhone мне не нужен. Понял что хочу снимать видосы. Буду пробовать)

6. Увеличил число подписчиков на канале на 10%, хотя пока не планировал в январе этим заниматься.

7. Начал проводить стримы с интересными людьми и первый мой собеседник оказался Илья Красинский.

8. Увеличил доход со своего блога в 2.5 раза с блога. АБ тесты как горячие пирожки😮

9. Пообщался с Глебом ака «Леопард» Михайловым. Глеб крутой чел и знает как делать блоги и курсы, так что мне есть что у него почерпнуть)

10. Еще раз победил своего внутреннего бомжа. С 30 января чилим с семьей на Пхукете. Это просто бомба. Впервые поехал из зимы в лето отдыхать) Взяли классный отель на первой береговой)

11. Забыл самое главное. Смог вернуть себе правильное состояние. Без него ничего бы не произошло. Состояние>мысль>действие

Перезагружаюсь) Я же обещал себе выбирать себя в новом году❤️

Гадкая сторона аналитической натуры😠

Последние пару месяцев наблюдаю за своими состояниями.

С одной стороны умение анализировать, раскладывать будущее на различные сценарии полезный навык.

Но другая сторона этого навыка - это сомнения и тревога. Зачастую в жизни каждого наступают моменты когда надо принять решение, поверить в себя.

Но ты как аналитик привык все анализировать и твой мозг всегда может нарисовать сценарии почему у тебя не получится.

И вот ты уже не веришь в себя, а нужно было всего лишь не ссать и решиться сделать задуманное.

Кстати, на мой взгляд это одна из проблем почему аналитику может быть тяжело стать продактом, т.к зачастую продукты на стадии поиска pmf держатся на вере фаундера или продакта.

Последнее время учусь отключать в себе режим аналитика и больше верить в себя и идти на перекор сомнениям. А у вас как с этим?

Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎

Решил обновить свою морду на аве, а то предыдущей фотке 10 лет уже🙂

✅Давайте поразмышляем над кейсом про выбор целевой метрики для АБ теста

Все кто потренировался и написал свои варианты в комменты - молодцы👍, посылаю вам лучи поддержки ☀️

1.Взять в качестве метрики коэффициент конверсии
К примеру если мы захотим взять метрику коэффициент конверсии в заявку на банковский продукт, то мы не сможем в лоб сравнить 2 варианта АБ теста, т.к. например в тестовом варианте может стать меньше заявок, за счет того что части пользователей, будет показываться баннер с ипотекой, но с точки зрения доходности конверсия в заявку на ипотеку может принести больше доход, чем заявка на дебетовку в контрольной версии. Т.е. конверсия например может ухудшится, но с точки зрения дохода для банка может стать лучше.

2. Взять в качестве метрики фактический доход с пользователя
Тут тоже не все гладко, т.к. это не прямая продажа, когда мы получаем деньги в моменте. Например дебетовая карта, вот банк её выдал клиенту, но еще не заработал на этом. Выдали ипотеку - тут опять, доход от клиента будет растянут на 20 лет, а часть клиентов обанкротится за это время. Давайте подержим АБ тест 20 лет 🤪

3. Прогнозный доход с пользователя
Можно на основе юнит экономики по каждому продукту проставить ценность для конверсии по каждому продукту и посчитать примерный доход. Можно попробовать сделать ML модель, которая будет предсказывать потенциальный доход по каждому клиенту и на основе метрики прогнозного дохода сравнить варианты.

Но тут тоже быть много проблем со сбором данных, обучением модели. Любая модель будет иметь ошибку. Может случится так что если эффект от АБ теста небольшой, то из-за ошибки модели мы его не заметим.