Системный Блокъ

Большие языковые модели умеют рассуждать

Модель психики «Думай медленно… решай быстро» оказалась верна не только для людей, но и для больших нейросетей. Вслед за интуитивными навыками они приобретают и аналитические. Рассказываем, как языковые модели решают математические и логические задачи, если немного «подумают».

Кратко: о чём статья?

Психолог Даниэл Канеман, автор книги «Думай медленно… решай быстро», считает, что психика человека содержит в себе две системы мышления – Систему 1 и Систему 2.

Система 1 срабатывает автоматически, практически мгновенно, требует мало усилий и не дает ощущения контроля. Эта система включается в ситуациях, которые вписываются в привычную картину мира человека. В незнакомых ситуациях Система 1 не способна дать ответ, как реагировать, и в этот момент включается Система 2. Система 2, в свою очередь, требует внимание, которое необходимо для сознательных умственных усилий.

Оказалось, что подобный механизм «размышлений» можно наблюдать и в работе больших языковых моделей. Можно «заставить» языковую модель включить Систему 2 и тем самым повысить качество решения задачи, не используя дополнительные обучающие данные.

Обычно модели подают формулировку задания и запрос на ответ. Например, модель можно попросить заполнить пропуск в запросе: «СССР развалился в году». Или же дать задание на перевод: «Кошка на французском будет ». При таких запросах у модели задействуется только Система 1.
Если же перед запросом ответа модель «попросить подумать», а потом подать на вход ей не только условие задания, но и собственные размышления, то будет задействована и Система 2, что приведёт к повышению качества ответов модели.

Посмотреть на наглядные и подробные примеры работы этого механизма и узнать, как модель может «запутать» сама себя, можно в статье на сайте.

Время чтения: 6,5 минут.

Системный Блокъ

Большие языковые модели умеют рассуждать - Системный Блокъ

Модель психики «Думай медленно… решай быстро» оказалась верна не только для людей, но и для больших нейросетей. Вслед за интуитивными навыками они приобретают и аналитические. Рассказываем, как языковые модели решают математические и логические задачи, если…

www.group-telegram.com/cn/sysblok.com/511

2.3K viewsOct 4, 2022 at 17:30

Большие языковые модели умеют рассуждать

Модель психики «Думай медленно… решай быстро» оказалась верна не только для людей, но и для больших нейросетей. Вслед за интуитивными навыками они приобретают и аналитические. Рассказываем, как языковые модели решают математические и логические задачи, если немного «подумают».

Кратко: о чём статья?

Психолог Даниэл Канеман, автор книги «Думай медленно… решай быстро», считает, что психика человека содержит в себе две системы мышления – Систему 1 и Систему 2.

Система 1 срабатывает автоматически, практически мгновенно, требует мало усилий и не дает ощущения контроля. Эта система включается в ситуациях, которые вписываются в привычную картину мира человека. В незнакомых ситуациях Система 1 не способна дать ответ, как реагировать, и в этот момент включается Система 2. Система 2, в свою очередь, требует внимание, которое необходимо для сознательных умственных усилий.

Оказалось, что подобный механизм «размышлений» можно наблюдать и в работе больших языковых моделей. Можно «заставить» языковую модель включить Систему 2 и тем самым повысить качество решения задачи, не используя дополнительные обучающие данные.

Обычно модели подают формулировку задания и запрос на ответ. Например, модель можно попросить заполнить пропуск в запросе: «СССР развалился в году». Или же дать задание на перевод: «Кошка на французском будет ». При таких запросах у модели задействуется только Система 1.
Если же перед запросом ответа модель «попросить подумать», а потом подать на вход ей не только условие задания, но и собственные размышления, то будет задействована и Система 2, что приведёт к повышению качества ответов модели.

Посмотреть на наглядные и подробные примеры работы этого механизма и узнать, как модель может «запутать» сама себя, можно в статье на сайте.

Время чтения: 6,5 минут.

BY Системный Блокъ