Есть у меня гипотеза: секрет ИИ-революции заключается в синдроме "дикого помещика" у Салтыкова-Щедрина: "Думает, какие он машины из Англии выпишет, чтоб все паром да паром, а холопского духу чтоб нисколько не было". Синдром этот овладел мировыми элитами, раздосадованными необходимостью платить зарплаты и взаимодействовать социально, экономически и политически с т.н. "людьми". Реальность (к моему глубокому сожалению) все больше подтверждает эту гипотезу.
Вышла статья энтузиастов из Стэнфорда. Они "доказывают", что в мире ИИ даже социологические исследования будут проходить без участия "мужика" – человека и в качестве "социолога" и в качестве "респондента". И вот как:
Авторы обучили большую языковую модель GPT-4 на массиве из 70 опросов жителей США, всего более 100 тыс. участников. Опросы относились к широкому кругу направлений: от психологии и социальной политики до политологии и общественного здравоохранения.
Цель состояла в моделировании реакций людей, относящихся к определенным демографическим подгруппам (по полу, возрасту, образованию, политпредпочтениям и т.д.). После обучения модели выбирался один вопрос из внешнего (не из эксперимента) исследования и устанавливалась корреляция между ответами GPT-4 и реальными данными.
Коэффициент корреляции от 0 до 1, где единица – 100% совпадение ответа модели с ответами живых людей. GPT-4 продемонстрировал достаточно высокий результат - 0,85-0,9. Экспериментаторы сделали и контрольный опыт: провели опрос среди 2659 человек, которые не были социологами, попросив их предсказать результаты социологических вопросов. Корреляция в этом случае составила 0,79. Так авторы сделали вывод о превосходстве модели над людьми.
Вывод традиционный для экспериментов такого рода – "дайте денег и через шаг ИИ сделает ненужным любую форму полевой социологии, потому что будет моделировать результат исследований со 100% точностью, что повлечет экономию средств в размере N миллиардов долларов". Отдельный плюс в отличие от "мясных социологов" модель способна принести результат быстро – в "один клик".
На практике же много вопросов. 1️⃣ точность ответов GPT-4 в исследовании зависела от подсказок - чем больше их было, тем точнее получался результат. 2️⃣ работа подобных моделей требует контролируемых условий и постоянной оценки эффективности со стороны разработчиков. Предсказательная точность языковых моделей в реальных условиях, как правило, падает - в т.ч. из-за накапливающихся погрешностей.
Все это делает модели не настолько удобным, быстрым и дешевым инструментом прогнозирования, как об этом заявляют их создатели. Чтобы контролировать модель, нужно постоянно проводить дублирующие реальные исследования иначе ты никогда не узнаешь, в какой момент ее "ответы" кардинально разойдутся с ответами реальных респондентов. Феномен накопления ошибок на каждом круге работы языковых моделей – известен, что делать с ним непонятно даже теоретически, но это никак не мешает их разработчикам продавать "мир будущего, где человек не нужен".
Даже в идеальных условиях для некоторых подгрупп точность была значительно ниже базовых 0,85: мужчины оказались менее “просчитываемы” - с корреляцией 0,72. А чернокожие – так и вовсе 0,6. В итоге – из описания эксперимента прямо следует, что чем дальше оцениваемый человек отходит от идеала предсказуемости – "пожилая женщина азиатского происхождения", тем меньше можно полагаться на предсказания ИИ.
Еще одна проблема в том, что модели требуют огромных массивов данных для обучения, и без притока новых социологических исследований им останется учиться на данных, которые они сами и сгенерировали - что приведет уже не к ошибкам, а к галлюцинациям. Ну и, чтобы хоть как-то полагаться на модели, придется даже теоретически исключить возможность появления "меняющих все" радикальных раздражителей для общества – войны, эпидемии, политический радикализм, катастрофы.
Энтузиастов это не останавливает. Ведь модели обещают радикальное увеличение прибыли крупных социологических компаний и снижение расходов заказчиков на социсследования через сокращение рабочих мест в отрасли.
Есть у меня гипотеза: секрет ИИ-революции заключается в синдроме "дикого помещика" у Салтыкова-Щедрина: "Думает, какие он машины из Англии выпишет, чтоб все паром да паром, а холопского духу чтоб нисколько не было". Синдром этот овладел мировыми элитами, раздосадованными необходимостью платить зарплаты и взаимодействовать социально, экономически и политически с т.н. "людьми". Реальность (к моему глубокому сожалению) все больше подтверждает эту гипотезу.
Вышла статья энтузиастов из Стэнфорда. Они "доказывают", что в мире ИИ даже социологические исследования будут проходить без участия "мужика" – человека и в качестве "социолога" и в качестве "респондента". И вот как:
Авторы обучили большую языковую модель GPT-4 на массиве из 70 опросов жителей США, всего более 100 тыс. участников. Опросы относились к широкому кругу направлений: от психологии и социальной политики до политологии и общественного здравоохранения.
Цель состояла в моделировании реакций людей, относящихся к определенным демографическим подгруппам (по полу, возрасту, образованию, политпредпочтениям и т.д.). После обучения модели выбирался один вопрос из внешнего (не из эксперимента) исследования и устанавливалась корреляция между ответами GPT-4 и реальными данными.
Коэффициент корреляции от 0 до 1, где единица – 100% совпадение ответа модели с ответами живых людей. GPT-4 продемонстрировал достаточно высокий результат - 0,85-0,9. Экспериментаторы сделали и контрольный опыт: провели опрос среди 2659 человек, которые не были социологами, попросив их предсказать результаты социологических вопросов. Корреляция в этом случае составила 0,79. Так авторы сделали вывод о превосходстве модели над людьми.
Вывод традиционный для экспериментов такого рода – "дайте денег и через шаг ИИ сделает ненужным любую форму полевой социологии, потому что будет моделировать результат исследований со 100% точностью, что повлечет экономию средств в размере N миллиардов долларов". Отдельный плюс в отличие от "мясных социологов" модель способна принести результат быстро – в "один клик".
На практике же много вопросов. 1️⃣ точность ответов GPT-4 в исследовании зависела от подсказок - чем больше их было, тем точнее получался результат. 2️⃣ работа подобных моделей требует контролируемых условий и постоянной оценки эффективности со стороны разработчиков. Предсказательная точность языковых моделей в реальных условиях, как правило, падает - в т.ч. из-за накапливающихся погрешностей.
Все это делает модели не настолько удобным, быстрым и дешевым инструментом прогнозирования, как об этом заявляют их создатели. Чтобы контролировать модель, нужно постоянно проводить дублирующие реальные исследования иначе ты никогда не узнаешь, в какой момент ее "ответы" кардинально разойдутся с ответами реальных респондентов. Феномен накопления ошибок на каждом круге работы языковых моделей – известен, что делать с ним непонятно даже теоретически, но это никак не мешает их разработчикам продавать "мир будущего, где человек не нужен".
Даже в идеальных условиях для некоторых подгрупп точность была значительно ниже базовых 0,85: мужчины оказались менее “просчитываемы” - с корреляцией 0,72. А чернокожие – так и вовсе 0,6. В итоге – из описания эксперимента прямо следует, что чем дальше оцениваемый человек отходит от идеала предсказуемости – "пожилая женщина азиатского происхождения", тем меньше можно полагаться на предсказания ИИ.
Еще одна проблема в том, что модели требуют огромных массивов данных для обучения, и без притока новых социологических исследований им останется учиться на данных, которые они сами и сгенерировали - что приведет уже не к ошибкам, а к галлюцинациям. Ну и, чтобы хоть как-то полагаться на модели, придется даже теоретически исключить возможность появления "меняющих все" радикальных раздражителей для общества – войны, эпидемии, политический радикализм, катастрофы.
Энтузиастов это не останавливает. Ведь модели обещают радикальное увеличение прибыли крупных социологических компаний и снижение расходов заказчиков на социсследования через сокращение рабочих мест в отрасли.
BY Глебсмит
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. But the Ukraine Crisis Media Center's Tsekhanovska points out that communications are often down in zones most affected by the war, making this sort of cross-referencing a luxury many cannot afford. Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. Telegram was founded in 2013 by two Russian brothers, Nikolai and Pavel Durov. The news also helped traders look past another report showing decades-high inflation and shake off some of the volatility from recent sessions. The Bureau of Labor Statistics' February Consumer Price Index (CPI) this week showed another surge in prices even before Russia escalated its attacks in Ukraine. The headline CPI — soaring 7.9% over last year — underscored the sticky inflationary pressures reverberating across the U.S. economy, with everything from groceries to rents and airline fares getting more expensive for everyday consumers.
from it
