Telegram Group & Telegram Channel
Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/y_borzilo/948
Create:
Last Update:

Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎

BY Борзило


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/y_borzilo/948

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Since its launch in 2013, Telegram has grown from a simple messaging app to a broadcast network. Its user base isn’t as vast as WhatsApp’s, and its broadcast platform is a fraction the size of Twitter, but it’s nonetheless showing its use. While Telegram has been embroiled in controversy for much of its life, it has become a vital source of communication during the invasion of Ukraine. But, if all of this is new to you, let us explain, dear friends, what on Earth a Telegram is meant to be, and why you should, or should not, need to care. The last couple days have exemplified that uncertainty. On Thursday, news emerged that talks in Turkey between the Russia and Ukraine yielded no positive result. But on Friday, Reuters reported that Russian President Vladimir Putin said there had been some “positive shifts” in talks between the two sides. Markets continued to grapple with the economic and corporate earnings implications relating to the Russia-Ukraine conflict. “We have a ton of uncertainty right now,” said Stephanie Link, chief investment strategist and portfolio manager at Hightower Advisors. “We’re dealing with a war, we’re dealing with inflation. We don’t know what it means to earnings.” In the past, it was noticed that through bulk SMSes, investors were induced to invest in or purchase the stocks of certain listed companies. Sebi said data, emails and other documents are being retrieved from the seized devices and detailed investigation is in progress.
from ca


Telegram Борзило
FROM American