group-telegram.com/cryptovalerii/656
Last Update:
Забавно что статья Кохави на KDD 2024 - False Positives in A/B Tests - практически тоже самое что и The reproducibility of research and the misinterpretation of p-values от Roayl Society of Open Science. По странному стечению обстоятельств прочитал их подряд и сразу заметил
И там и там считают FPR, и там и там использую prior. Результаты и там и там сходятся. Надо сказать, что статья Кохави чуть более прикладная и ссылается на статью от 2017 года.
Если кратко. Допустим 10 из 100 аб тестов у вас успешны и стат значимы в нужную сторону. При альфе 0.05 в среднем 5 тестов из 100 будут стат значимыми всегда, допустим 2.5 будут показывать в нужную сторону. Значит 1/4 ваших стат значимых и хороших аб тестов - будут ложными
Пошел искать статьи от 2018 года, ждите меня на KDD 2025.
#ArticleReview
BY Время Валеры
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Share with your friend now:
group-telegram.com/cryptovalerii/656