2035. Новости НТИ ✔

Почему ризонинг ухудшает генерацию моделей LLM

Источник: Эксперт
Технология цепочек рассуждений (ризонинга) стала прорывом в области создания искусственного интеллекта (ИИ) — за счет нее большие языковые модели (LLM), такие как o1 и DeepSeek, могут решать сложные математические задачи и создавать работающий код. Но эта же технология может быть фактором, который вредит качеству ответов моделей, сообщают исследователи Калифорнийского университета. В своем докладе от 12 февраля они отмечают, что LLM с возможностями ризонинга могут отдавать предпочтения своим рассуждениям и игнорировать информацию о внешней среде. Это приводит к тому, что ИИ бесконечно планирует свои действия, но ничего не делает, принимает самовольные решения или отказывается от задачи из-за стресса, который вызывают его «мысли». Вместе с этим использование обычных LLM без ризонинга может быть почти вдвое дешевле при сопоставимых результатах, утверждают исследователи.

Ризонинг приводит к ошибкам из-за чрезмерно длинных цепочек рассуждений, в которых модель теряет фокус на исходной задаче, накапливая логические несоответствия, пояснил «Эксперту» глава отдела исследований в области ИИ дирекции разработки и развития цифровой платформы Университета 2035 Ярослав Селиверстов. Это может быть связано с ограничениями контекстного окна (максимального числа слов, которые модель может считывать за раз), чрезмерно сложным синтаксисом или недостатком релевантных данных в обучении, что провоцирует «зацикливание» на второстепенных деталях, рассуждает он. Также ризонинг может быть подвержен галлюцинациям, когда модель генерирует правдоподобные, но фактические неверные утверждения, которые затем использует в дальнейших рассуждениях, усугубляя ошибку. Еще одна проблема может быть связана со «смещением» (bias) в данных, на которых обучалась модель, что приводит к предвзятым рассуждениям, добавляет Ярослав Селиверстов.

Ризонинг критичен для задач, требующих многошаговой логики, связанных с математикой, анализом текста, соглашается директор департамента расследований T.Hunter, эксперт рынка НТИ SafeNet («Сейфнет») Игорь Бедеров. Он позволяет моделям «думать вслух», что повышает интерпретируемость решений; также этот функционал полезен для исследователя, который видит машинную логику и может ее менять при составлении промптов. Решить проблемы ризонинга можно за счет качественного написания промптов к модели и тщательной валидации рассуждений и действий, которые она совершает, уверен он.

Эксперт

Почему ризонинг ухудшает генерацию моделей LLM | Эксперт

Ученые выяснили, что механизмы ризонинга могут приводить к тому, что ИИ уходит в себя и проваливает поставленные задачи.

www.group-telegram.com/cn/nti2035media.com/9634

1.2K viewsMar 3 at 14:48

Почему ризонинг ухудшает генерацию моделей LLM

Источник: Эксперт
Технология цепочек рассуждений (ризонинга) стала прорывом в области создания искусственного интеллекта (ИИ) — за счет нее большие языковые модели (LLM), такие как o1 и DeepSeek, могут решать сложные математические задачи и создавать работающий код. Но эта же технология может быть фактором, который вредит качеству ответов моделей, сообщают исследователи Калифорнийского университета. В своем докладе от 12 февраля они отмечают, что LLM с возможностями ризонинга могут отдавать предпочтения своим рассуждениям и игнорировать информацию о внешней среде. Это приводит к тому, что ИИ бесконечно планирует свои действия, но ничего не делает, принимает самовольные решения или отказывается от задачи из-за стресса, который вызывают его «мысли». Вместе с этим использование обычных LLM без ризонинга может быть почти вдвое дешевле при сопоставимых результатах, утверждают исследователи.

Ризонинг приводит к ошибкам из-за чрезмерно длинных цепочек рассуждений, в которых модель теряет фокус на исходной задаче, накапливая логические несоответствия, пояснил «Эксперту» глава отдела исследований в области ИИ дирекции разработки и развития цифровой платформы Университета 2035 Ярослав Селиверстов. Это может быть связано с ограничениями контекстного окна (максимального числа слов, которые модель может считывать за раз), чрезмерно сложным синтаксисом или недостатком релевантных данных в обучении, что провоцирует «зацикливание» на второстепенных деталях, рассуждает он. Также ризонинг может быть подвержен галлюцинациям, когда модель генерирует правдоподобные, но фактические неверные утверждения, которые затем использует в дальнейших рассуждениях, усугубляя ошибку. Еще одна проблема может быть связана со «смещением» (bias) в данных, на которых обучалась модель, что приводит к предвзятым рассуждениям, добавляет Ярослав Селиверстов.

Ризонинг критичен для задач, требующих многошаговой логики, связанных с математикой, анализом текста, соглашается директор департамента расследований T.Hunter, эксперт рынка НТИ SafeNet («Сейфнет») Игорь Бедеров. Он позволяет моделям «думать вслух», что повышает интерпретируемость решений; также этот функционал полезен для исследователя, который видит машинную логику и может ее менять при составлении промптов. Решить проблемы ризонинга можно за счет качественного написания промптов к модели и тщательной валидации рассуждений и действий, которые она совершает, уверен он.

BY 2035. Новости НТИ