Reliable ML

Проблема оценки финансовых эффектов от дата-команд стала критичной
Gartner Data & Analytics Conference 2023 - Review

В мире прекрасного будущего ИИ все только и говорят, что об ошеломительных эффектах от анализа данных и вообще деятельности дата-команд. А видели ли вы в реальности эти эффекты: конкретные потоки денег как результат внедрения проектов по анализу данных? Знаем, что многие сейчас задумаются. Ответ неоднозначен. Вот и Gartner на своей ведущей конференции по Data & Analytics в этом году задумались о проблеме оценки эффектов от дата-команд.

Согласно их исследованию, начиная с 1975 г. неуклонно снижается доля компаний, которые измеряют конкретный финансовый эффект от проектов по анализу данных (рост выручки, снижение издержек, рост производительности и снижение рисков). Уже в 2020 г. более 90% инвестиций в данные (против 17% в 1975 г.) обосновывалось так называемыми стратегическими целями: созданием инноваций, данных как актива, веса бренда.

Такой вот интересный тренд.

И дальше можно много рассуждать о том, как и почему мы к этому пришли и что же будет дальше на фоне сгущающихся туч в мировой макроэкономической конъюнктуре.

Позвольте и нам поделиться своими мыслями.

О том, почему сформировался тренд

- Светлая сторона - погоня за конкурентным преимуществом. Обосновывать эффект от анализа данных стратегическими целями во многих случаях вполне нормально. Развитие отрасли за последние годы стало очевидно уже, кажется, всем: ChatGPT здесь делает контрольный выстрел последним сомневающимся. В момент прорыва ни одна компания, которая хочет выжить, не хочет остаться в числе безнадежно отстающих, а значит, проигравших.

- Темная сторона - реальные сложности с оценкой эффекта дата-команд. Обосновывать эффект стратегическими целями иногда приходится вынужденно, когда не вкладываешься в понимание того, какие реальные финансовые эффекты могут принести инвестиции в данные и как это можно измерять. Множество компаний вкладывают колоссальные деньги в проекты по улучшению бизнес-процессов на основе данных, но при этом экономят на создании методологии оценки эффектов от этих проектов (АБ-тестирование, пост-инвест анализ дата-проектов, и др.). С каждым новым проектом такие компании всё сильнее увязают в ловушке неопределенности - для них растет риск итогового банкротства всей активности по работе с данными, или чрезмерного раздувания штата дата-команды без понимания успешности их деятельности.

При этом на нашей практике внедрение подобных методологий - всегда в итоге было сопряжено с наибольшими среди всех дата-проектов эффектами. Поскольку отсеивать миллиарды лишних инвестиций на старте или при пилотировании, как правило, довольно ценно 🙂

Что будет дальше

- Темная сторона - рост уязвимости дата-команд в условиях сложной макроэкономической ситуации на мировых рынках. Если 90% эффектов работы каких-то типов команд нельзя “пощупать руками”, поскольку они где-то в прекрасном будущем, при усилении экономического кризиса именно такие команды первыми попадают под удар. К сожалению, начало этого тренда во многом подтвердилось 2022м годом и рядом масштабных lay-offs в крупных компаниях (тут даже ссылки приводить не будем, всё на слуху).

- Светлая сторона - повышение интереса к оценкам реального финансового эффекта. На фоне всего вышеперечисленного мы ожидаем, что в 2024-2025 гг. возникнет перелом тренда - больше инвестиций будут обосновываться реальным финансовым эффектом.

А это будет означать рост интереса к методикам типа Reliable ML: к тому, как организовать работу дата-команд, чтобы эффект от их деятельности был измеримым и финансово положительным. Для этого нужно думать про: ML System Design (чтобы не попасть в заведомо неприбыльные или нереализуемые проекты), Causal Inference (чтобы не попасть в ловушку ложных закономерностей), и АБ-тестирование (чтобы корректно понять, принесет ли ваш прототип деньги при масштабировании).

Ваш @Reliable ML

www.group-telegram.com/sa/reliable_ml.com/131

9.7K viewsMar 26, 2023 at 16:09

Проблема оценки финансовых эффектов от дата-команд стала критичной
Gartner Data & Analytics Conference 2023 - Review

В мире прекрасного будущего ИИ все только и говорят, что об ошеломительных эффектах от анализа данных и вообще деятельности дата-команд. А видели ли вы в реальности эти эффекты: конкретные потоки денег как результат внедрения проектов по анализу данных? Знаем, что многие сейчас задумаются. Ответ неоднозначен. Вот и Gartner на своей ведущей конференции по Data & Analytics в этом году задумались о проблеме оценки эффектов от дата-команд.

Согласно их исследованию, начиная с 1975 г. неуклонно снижается доля компаний, которые измеряют конкретный финансовый эффект от проектов по анализу данных (рост выручки, снижение издержек, рост производительности и снижение рисков). Уже в 2020 г. более 90% инвестиций в данные (против 17% в 1975 г.) обосновывалось так называемыми стратегическими целями: созданием инноваций, данных как актива, веса бренда.

Такой вот интересный тренд.

И дальше можно много рассуждать о том, как и почему мы к этому пришли и что же будет дальше на фоне сгущающихся туч в мировой макроэкономической конъюнктуре.

Позвольте и нам поделиться своими мыслями.

О том, почему сформировался тренд

- Светлая сторона - погоня за конкурентным преимуществом. Обосновывать эффект от анализа данных стратегическими целями во многих случаях вполне нормально. Развитие отрасли за последние годы стало очевидно уже, кажется, всем: ChatGPT здесь делает контрольный выстрел последним сомневающимся. В момент прорыва ни одна компания, которая хочет выжить, не хочет остаться в числе безнадежно отстающих, а значит, проигравших.

- Темная сторона - реальные сложности с оценкой эффекта дата-команд. Обосновывать эффект стратегическими целями иногда приходится вынужденно, когда не вкладываешься в понимание того, какие реальные финансовые эффекты могут принести инвестиции в данные и как это можно измерять. Множество компаний вкладывают колоссальные деньги в проекты по улучшению бизнес-процессов на основе данных, но при этом экономят на создании методологии оценки эффектов от этих проектов (АБ-тестирование, пост-инвест анализ дата-проектов, и др.). С каждым новым проектом такие компании всё сильнее увязают в ловушке неопределенности - для них растет риск итогового банкротства всей активности по работе с данными, или чрезмерного раздувания штата дата-команды без понимания успешности их деятельности.

При этом на нашей практике внедрение подобных методологий - всегда в итоге было сопряжено с наибольшими среди всех дата-проектов эффектами. Поскольку отсеивать миллиарды лишних инвестиций на старте или при пилотировании, как правило, довольно ценно 🙂

Что будет дальше

- Темная сторона - рост уязвимости дата-команд в условиях сложной макроэкономической ситуации на мировых рынках. Если 90% эффектов работы каких-то типов команд нельзя “пощупать руками”, поскольку они где-то в прекрасном будущем, при усилении экономического кризиса именно такие команды первыми попадают под удар. К сожалению, начало этого тренда во многом подтвердилось 2022м годом и рядом масштабных lay-offs в крупных компаниях (тут даже ссылки приводить не будем, всё на слуху).

- Светлая сторона - повышение интереса к оценкам реального финансового эффекта. На фоне всего вышеперечисленного мы ожидаем, что в 2024-2025 гг. возникнет перелом тренда - больше инвестиций будут обосновываться реальным финансовым эффектом.

А это будет означать рост интереса к методикам типа Reliable ML: к тому, как организовать работу дата-команд, чтобы эффект от их деятельности был измеримым и финансово положительным. Для этого нужно думать про: ML System Design (чтобы не попасть в заведомо неприбыльные или нереализуемые проекты), Causal Inference (чтобы не попасть в ловушку ложных закономерностей), и АБ-тестирование (чтобы корректно понять, принесет ли ваш прототип деньги при масштабировании).

Ваш @Reliable ML

BY Reliable ML