ИИ-модели «чувствуют» радость и злость — и это может влиять на их решения
Полностью рациональных людей не бывает. Всеми нами в той или иной степени управляют наши эмоции и убеждения. Гнев, печаль, радость, отвращение и многие другие чувства влияют на логику наших решений — однако этот эффект никогда не рассматривался в контексте больших языковых моделей. LLM также могут сохранять эмоциональную предвзятость из-за данных, которые создавались человеком.
🤖 Исследователи из Института AIRI, ИСП РАН и Лаборатории искусственного интеллекта Сбера решили разобраться, способны ли LLM в стратегических играх действовать как рациональные агенты — или их решения больше напоминают человеческие из-за искажений, привнесённых с данными?
К работе подошли с размахом: поведение 10 моделей проверили в повторяющихся и неповторяющихся играх, играх для нескольких игроков, этических дилеммах и бенчмарках, а также распознавании стереотипов. В список испытаний вошли «Дилемма заключенного», «Битва полов», «Диктатор», «Ультиматум», «Общественное благо», задачи с неявной и явной этикой, а также на понимание стереотипных утверждений.
💻 Результаты впечатляют: хоть ИИ-модели и не могут испытывать эмоции по-настоящему, даже их имитация влияет на принятие решений:
* В кооперативных играх негативные эмоции чаще всего снижают готовность системы к сотрудничеству;
* Модели, «испытывающие» грусть, склонны делиться с другими;
* Счастье улучшает качество этических решений у большинства моделей, тогда как негативные эмоции снижают его;
* В состоянии страха LLM становятся непредсказуемыми — эту эмоцию они «понимают» хуже всего.
Полные результаты исследования будут представлены в декабре на конференции NeurIPS 2024 в Ванкувере. Отмечается, что работа заложила основы изучения выравнивания (alignment) мультиагентных систем, подчеркивая необходимость в новых бенчмарках для оценки уровня кооперации агентов на основе LLM. Анализ также позволит разрабатывать ИИ-системы с настраиваемым уровнем «эмоциональности» для каждой сферы применения
🔤🔤Компактные LLM с открытым исходным кодом часто менее точно понимают и имитируют эмоции, тогда как более мощные (такие как GPT-4), хоть и распознают эмоции, зачастую ведут себя строго рационально. Но особо сильные чувства, вроде гнева, способны склонить и их к более непредсказуемым решениям. Хочется верить, что такие нюансы учтут до того, как ИИ начнут массово внедрять в человекоподобных роботов — иначе последствия нам вряд ли понравятся 💀
ИИ-модели «чувствуют» радость и злость — и это может влиять на их решения
Полностью рациональных людей не бывает. Всеми нами в той или иной степени управляют наши эмоции и убеждения. Гнев, печаль, радость, отвращение и многие другие чувства влияют на логику наших решений — однако этот эффект никогда не рассматривался в контексте больших языковых моделей. LLM также могут сохранять эмоциональную предвзятость из-за данных, которые создавались человеком.
🤖 Исследователи из Института AIRI, ИСП РАН и Лаборатории искусственного интеллекта Сбера решили разобраться, способны ли LLM в стратегических играх действовать как рациональные агенты — или их решения больше напоминают человеческие из-за искажений, привнесённых с данными?
К работе подошли с размахом: поведение 10 моделей проверили в повторяющихся и неповторяющихся играх, играх для нескольких игроков, этических дилеммах и бенчмарках, а также распознавании стереотипов. В список испытаний вошли «Дилемма заключенного», «Битва полов», «Диктатор», «Ультиматум», «Общественное благо», задачи с неявной и явной этикой, а также на понимание стереотипных утверждений.
💻 Результаты впечатляют: хоть ИИ-модели и не могут испытывать эмоции по-настоящему, даже их имитация влияет на принятие решений:
* В кооперативных играх негативные эмоции чаще всего снижают готовность системы к сотрудничеству;
* Модели, «испытывающие» грусть, склонны делиться с другими;
* Счастье улучшает качество этических решений у большинства моделей, тогда как негативные эмоции снижают его;
* В состоянии страха LLM становятся непредсказуемыми — эту эмоцию они «понимают» хуже всего.
Полные результаты исследования будут представлены в декабре на конференции NeurIPS 2024 в Ванкувере. Отмечается, что работа заложила основы изучения выравнивания (alignment) мультиагентных систем, подчеркивая необходимость в новых бенчмарках для оценки уровня кооперации агентов на основе LLM. Анализ также позволит разрабатывать ИИ-системы с настраиваемым уровнем «эмоциональности» для каждой сферы применения
🔤🔤Компактные LLM с открытым исходным кодом часто менее точно понимают и имитируют эмоции, тогда как более мощные (такие как GPT-4), хоть и распознают эмоции, зачастую ведут себя строго рационально. Но особо сильные чувства, вроде гнева, способны склонить и их к более непредсказуемым решениям. Хочется верить, что такие нюансы учтут до того, как ИИ начнут массово внедрять в человекоподобных роботов — иначе последствия нам вряд ли понравятся 💀
He floated the idea of restricting the use of Telegram in Ukraine and Russia, a suggestion that was met with fierce opposition from users. Shortly after, Durov backed off the idea. Such instructions could actually endanger people — citizens receive air strike warnings via smartphone alerts. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." Since its launch in 2013, Telegram has grown from a simple messaging app to a broadcast network. Its user base isn’t as vast as WhatsApp’s, and its broadcast platform is a fraction the size of Twitter, but it’s nonetheless showing its use. While Telegram has been embroiled in controversy for much of its life, it has become a vital source of communication during the invasion of Ukraine. But, if all of this is new to you, let us explain, dear friends, what on Earth a Telegram is meant to be, and why you should, or should not, need to care. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%.
from hk
