Дата канальи — про «специалистов» в данных / ML / AI

Всегда бесило что когда речь заходит о фичах клиента, манагеры произносят аллилуйя — «пол-возраст». Им вторят канальи-аналитики, которые про «составим портрет клиента продукта» Еще бы расу добавили - и получился бы трельяж — сексизм, эйджизм, расизм.
Тем не менее, качество таргетирования рекламы часто проверяют на попадание в пол и возраст.
И хотя их можно предсказать даже только лишь по посещению страничек в сети – писал про задачу на хабре – и мы с ребятами запускали сореву MTS ML Cup – на 2300 участников, все равно смысла предсказывать эти таргеты я не улавливал (кроме как доказать внешнему измерителю что мы могем в таргетинг рекламы – хотя внешний измеритель откуда знает про пол и возраст? По 10 тыс панелистам?). Почему фичи юзера это не статистики, описывающие его поведение, или cf-эмбеддинги, построенные по потребляемому контенту, а пол и возраст? На заре скор-карт в банках в 70е еще можно было понять (потому как понятно откуда эти фичи брать и как с ними работать), но сейчас?
Если уж так хочется составить портрет клиента – потрудитесь спросить себя – для какой конкретно бизнес-цели? Чтобы знать в каких каналах и как его лучше привлечь? Ну тогда и стройте модели на тему привлечения (тот же аплифт). Затем чтобы понять ценовую политику? Займитесь LTV или сразу ценообразованием. И т.д.
Возражение на ум приходит тут только одно — знаем мы ваших ml-чуваков — запихнут в фичи какой-нибудь лик или откровенную чушь.
Вспоминается случай когда строили модель определения жертв мошенников для одного серо-бур-малинового банка и топ-1 фичей оказались звонки из этого самого банка на телефон жертвы. Или другой кейс где вероятность дефолта заемщика очень сильно зависела от региона.
И если вы пошли классическим табличным подходом — наинжинирить фичей и обучить понятный алгоритм с понятными свойствами и возможностью мерять uncertaincy в каждой точке на инференсе — то остановиться и проверить что за фичи в топе, каков их смысл в бизнесе, и как меняется их важность со временем — вас сможет подстраховать. Но если вы просто учили классную сеть — результат может быть сюрпризом, а не все сюрпризы приятные. Хотя и в этом случае интерпретация возможна, только копаться чуть подольше придется (и возможно потом трейн пересобирать).
В любом случае для меня фича юзера это что-то вроде «частота использования сервиса» нежели «возраст по ДУЛ (документ, удостоверяющий личность)».

Хабр

ML-задача на 30 минут: гадаем по cookie

«Я тебя по IP вычислю!» – помните такую угрозу из интернета времен нулевых годов? Мы в Big Data МТС решили выяснить, можно ли составить хотя бы приблизительное представление о человеке, обладая...

www.group-telegram.com/hk/datarascals.com/5

1.6K viewsedited  Dec 10 at 07:26

Всегда бесило что когда речь заходит о фичах клиента, манагеры произносят аллилуйя — «пол-возраст». Им вторят канальи-аналитики, которые про «составим портрет клиента продукта» Еще бы расу добавили - и получился бы трельяж — сексизм, эйджизм, расизм.
Тем не менее, качество таргетирования рекламы часто проверяют на попадание в пол и возраст.
И хотя их можно предсказать даже только лишь по посещению страничек в сети – писал про задачу на хабре – и мы с ребятами запускали сореву MTS ML Cup – на 2300 участников, все равно смысла предсказывать эти таргеты я не улавливал (кроме как доказать внешнему измерителю что мы могем в таргетинг рекламы – хотя внешний измеритель откуда знает про пол и возраст? По 10 тыс панелистам?). Почему фичи юзера это не статистики, описывающие его поведение, или cf-эмбеддинги, построенные по потребляемому контенту, а пол и возраст? На заре скор-карт в банках в 70е еще можно было понять (потому как понятно откуда эти фичи брать и как с ними работать), но сейчас?
Если уж так хочется составить портрет клиента – потрудитесь спросить себя – для какой конкретно бизнес-цели? Чтобы знать в каких каналах и как его лучше привлечь? Ну тогда и стройте модели на тему привлечения (тот же аплифт). Затем чтобы понять ценовую политику? Займитесь LTV или сразу ценообразованием. И т.д.
Возражение на ум приходит тут только одно — знаем мы ваших ml-чуваков — запихнут в фичи какой-нибудь лик или откровенную чушь.
Вспоминается случай когда строили модель определения жертв мошенников для одного серо-бур-малинового банка и топ-1 фичей оказались звонки из этого самого банка на телефон жертвы. Или другой кейс где вероятность дефолта заемщика очень сильно зависела от региона.
И если вы пошли классическим табличным подходом — наинжинирить фичей и обучить понятный алгоритм с понятными свойствами и возможностью мерять uncertaincy в каждой точке на инференсе — то остановиться и проверить что за фичи в топе, каков их смысл в бизнесе, и как меняется их важность со временем — вас сможет подстраховать. Но если вы просто учили классную сеть — результат может быть сюрпризом, а не все сюрпризы приятные. Хотя и в этом случае интерпретация возможна, только копаться чуть подольше придется (и возможно потом трейн пересобирать).
В любом случае для меня фича юзера это что-то вроде «частота использования сервиса» нежели «возраст по ДУЛ (документ, удостоверяющий личность)».

BY Дата канальи — про «специалистов» в данных / ML / AI