Telegram Group & Telegram Channel
Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/y_borzilo/948
Create:
Last Update:

Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎

BY Борзило


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/y_borzilo/948

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Pavel Durov, Telegram's CEO, is known as "the Russian Mark Zuckerberg," for co-founding VKontakte, which is Russian for "in touch," a Facebook imitator that became the country's most popular social networking site. Channels are not fully encrypted, end-to-end. All communications on a Telegram channel can be seen by anyone on the channel and are also visible to Telegram. Telegram may be asked by a government to hand over the communications from a channel. Telegram has a history of standing up to Russian government requests for data, but how comfortable you are relying on that history to predict future behavior is up to you. Because Telegram has this data, it may also be stolen by hackers or leaked by an internal employee. For example, WhatsApp restricted the number of times a user could forward something, and developed automated systems that detect and flag objectionable content. Some people used the platform to organize ahead of the storming of the U.S. Capitol in January 2021, and last month Senator Mark Warner sent a letter to Durov urging him to curb Russian information operations on Telegram. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981.
from ua


Telegram Борзило
FROM American