AI для Всех

🤖 Когда много думать — вредно.

Свежайшее исследование показало, что слишком много размышлений (у LLM) не просто тратит ресурсы впустую — оно ухудшает результат!

Исследователи обнаружили, что если заставлять модели “думать” больше, чем нужно, их точность падает, а вычислительные затраты растут.

В ходе эксперимента исследователи выбрали решения с меньшим уровнем “избыточного размышления” и добились удивительных результатов:
🔹 Точность выросла на 30%
🔹 Расходы на вычисления снизились на 43%

Это означает, что чрезмерное рассуждение вредит не только людям, но и нейросетям.

На волне успехов reasoning моделей я решил послушать «Думай медленно, решай быстро» и оказалось, что книжка 2011 года просто нашпигована инсайтами на 2025 год!

Один из таких инсайтов - чтобы создать действительно умные ИИ-размышления, нужно учесть один важный фактор: лень (ну или если формально, то стремление системы потреблять как можно меньше ресурсов).

В когнитивной науке давно известно, что наш мозг использует два типа мышления:
🧠 Система 1 — интуитивная, быстрая, автоматическая.
🧐 Система 2 — медленная, аналитическая, но… максимально экономная.

Система 2 включается только тогда, когда это действительно необходимо. Но, что еще более важно в контексте исследования про overthinking, она не просто потребляет много ресурсов, но и старается их минимизировать.

Если применить это к ИИ, то уже в ближайшее время мы будем наблюдать новый класс “разумных” моделей, которые:
- Будут рассуждать только тогда, когда это оправдано, экономя вычислительные мощности.
- Гибко регулировать глубину анализа, избегая излишней сложности.
- И скорее всего будут минимизировать количество токенов на размышления, сохраняя качество ответов

Таким образом, чтобы вывести ИИ на новый уровень, недостаточно просто заставить его “думать сильнее”. Надо научить его думать эффективнее.

Следующий прорыв в AI, скорее всего, придёт из когнитивистики, социальной психологии и педагогики — дисциплин, которые десятилетиями изучают, как люди думают и учатся.

Статья про overthinking

www.group-telegram.com/ms/nn_for_science.com/2362

6.0K viewsArtemii, Feb 15 at 23:12

🤖 Когда много думать — вредно.

Свежайшее исследование показало, что слишком много размышлений (у LLM) не просто тратит ресурсы впустую — оно ухудшает результат!

Исследователи обнаружили, что если заставлять модели “думать” больше, чем нужно, их точность падает, а вычислительные затраты растут.

В ходе эксперимента исследователи выбрали решения с меньшим уровнем “избыточного размышления” и добились удивительных результатов:
🔹 Точность выросла на 30%
🔹 Расходы на вычисления снизились на 43%

Это означает, что чрезмерное рассуждение вредит не только людям, но и нейросетям.

На волне успехов reasoning моделей я решил послушать «Думай медленно, решай быстро» и оказалось, что книжка 2011 года просто нашпигована инсайтами на 2025 год!

Один из таких инсайтов - чтобы создать действительно умные ИИ-размышления, нужно учесть один важный фактор: лень (ну или если формально, то стремление системы потреблять как можно меньше ресурсов).

В когнитивной науке давно известно, что наш мозг использует два типа мышления:
🧠 Система 1 — интуитивная, быстрая, автоматическая.
🧐 Система 2 — медленная, аналитическая, но… максимально экономная.

Система 2 включается только тогда, когда это действительно необходимо. Но, что еще более важно в контексте исследования про overthinking, она не просто потребляет много ресурсов, но и старается их минимизировать.

Если применить это к ИИ, то уже в ближайшее время мы будем наблюдать новый класс “разумных” моделей, которые:
- Будут рассуждать только тогда, когда это оправдано, экономя вычислительные мощности.
- Гибко регулировать глубину анализа, избегая излишней сложности.
- И скорее всего будут минимизировать количество токенов на размышления, сохраняя качество ответов

Таким образом, чтобы вывести ИИ на новый уровень, недостаточно просто заставить его “думать сильнее”. Надо научить его думать эффективнее.

Следующий прорыв в AI, скорее всего, придёт из когнитивистики, социальной психологии и педагогики — дисциплин, которые десятилетиями изучают, как люди думают и учатся.

Статья про overthinking

BY AI для Всех