Telegram Group & Telegram Channel
Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/y_borzilo/948
Create:
Last Update:

Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎

BY Борзило


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/y_borzilo/948

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. The fake Zelenskiy account reached 20,000 followers on Telegram before it was shut down, a remedial action that experts say is all too rare. Some people used the platform to organize ahead of the storming of the U.S. Capitol in January 2021, and last month Senator Mark Warner sent a letter to Durov urging him to curb Russian information operations on Telegram. READ MORE In February 2014, the Ukrainian people ousted pro-Russian president Viktor Yanukovych, prompting Russia to invade and annex the Crimean peninsula. By the start of April, Pavel Durov had given his notice, with TechCrunch saying at the time that the CEO had resisted pressure to suppress pages criticizing the Russian government.
from fr


Telegram Борзило
FROM American