OpenAI выпустили подробный гайд по использованию своих reasoning моделей (o1 и o3-mini). Не всегда нужно использовать самые крутые модели - иногда обычный GPT справляется лучше.

Вот несколько реальных кейсов использования reasoning моделей:
- Анализ контрактов и юридических документов: одна компания использовала o1 для проверки условий сделки M&A - модель нашла критически важный пункт в сноске, требующий немедленного погашения займа в $75 млн при смене контроля.
- Оценка налоговых решений: Blue J заменили GPT-4 на o1 для анализа налоговых документов и получили 4х кратное улучшение производительности. Модель оказалась особенно хороша в поиске связей между разными документами.
- Финансовый анализ: o1 и o3-mini успешно разбираются в сложных сценариях с правами акционеров, включая расчёты анти-размытия - задача, на которую у топовых финансовых аналитиков уходит 20-30 минут.
- Проверка кода: CodeRabbit увеличили конверсию в 3 раза после перехода на o-series - модели оказались особенно хороши в поиске мелких изменений, которые может пропустить человек.

А вот когда лучше использовать обычные GPT:
- Для простой генерации кода
- При работе с чётко определёнными задачами
- Когда важна скорость ответа
- В случаях, где достаточно 80% точности

В большинстве рабочих процессов оптимально использовать комбинацию моделей: o-series для планирования и принятия решений, GPT для выполнения конкретных задач.

Что касается промтов, многие привычные техники промпт-инжиниринга тут не работают, а иногда даже мешают.

Вот что реально важно:
- Забудьте про "думай пошагово" и "объясни своё решение" - модели и так это умеют, а лишние инструкции только мешают
- Используйте developer message вместо system message (начиная с o1-2024-12-17)
- Пишите простые и прямые инструкции - модели отлично понимают короткие команды
- Начинайте без примеров (zero-shot), добавляйте их только если что-то не получается
- Используйте разделители (markdown, XML теги) для структурирования ввода
Чётко определяйте ограничения (например "предложи решение с бюджетом до $500")
- Очень точно описывайте желаемый результат

Клёвый момент - модели продолжают думать над задачей и улучшать решение, пока оно не будет соответствовать вашим критериям успеха. Главное - чётко их определить.

Кстати, начиная с версии o1-2024-12-17 в API больше не будет маркдауна в ответах по умолчанию. Чтобы его включить, нужно добавить "Formatting re-enabled" в начало developer message.

Для полного комплекта прикладываю конструктор промптов от фаундера ai системы поиска и фиксинга проблем в коде Downanalytics.

Сергей Булаев AI 🤖 - об AI и не только

Опять 14-е февраля как то не так прошло...

Сергей Булаев AI 🤖 - об AI и не только

Сэм Альтман выложил краткий роадмап OpenAI. Добавил немного ясности.

GPT-4.5 станет последней моделью без chain-of-thought механизмов. После него компания планирует объединить o-series и GPT в единую систему, способную эффективно использовать все инструменты и самостоятельно определять, когда нужно думать дольше.

GPT-5 будет интегрировать все технологии, включая o3 (который как отдельную модель выпускать не планируют).

GPT-5 будет доступен даже на бесплатном тарифе ChatGPT! Правда, на базовом уровне интеллекта. Plus и Pro подписчики получат доступ к более продвинутым настройкам.
Новые модели будут поддерживать голос, Canvas, поиск и глубокие исследования прямо из коробки.

Сэм признал, что текущий выбор моделей слишком усложнён и компания хочет вернуться к концепции "единого магического интеллекта".

Сергей Булаев AI 🤖 - об AI и не только

Андрей Карпаты уже успел попользоваться Grok 3 и написал довольно подробный и интересный обзор (привожу в переводе Клода, если что не так - пишите):

Мне сегодня дали ранний доступ к Grok 3, что делает меня, пожалуй, одним из первых, кто смог провести быструю оценку.

Мышление
✅ Во-первых, Grok 3 явно имеет современную модель мышления (кнопка "Think") и отлично справился с моим вопросом по Settlers of Catan прямо из коробки. Я попросил создать веб-страницу с гексагональной сеткой, как в игре, с возможностью менять количество "колец" с помощью слайдера. Немногие модели справляются с этим надёжно. Топовые модели OpenAI (например, o1-pro за $200/месяц) тоже справляются, но DeepSeek-R1, Gemini 2.0 Flash Thinking и Claude - нет.

❌ Модель не смогла решить мою "загадку с эмодзи", где я даю смайлик с скрытым внутри сообщением через Unicode-селекторы вариаций, даже когда я дал сильную подсказку в виде кода на Rust. Больше всего продвинулся DeepSeek-R1, который однажды частично декодировал сообщение.

❓ Модель решила несколько партий в крестики-нолики с хорошей цепочкой рассуждений (многие современные модели часто не справляются!). Я повысил сложность и попросил сгенерировать 3 "хитрых" позиции в крестиках-ноликах - тут она не справилась (генерируя бессмысленные доски/текст), но и o1 pro тоже не справился.

✅ Я загрузил статью про GPT-2. Задал несколько простых вопросов - всё сработало отлично. Затем попросил оценить количество флопс на обучение GPT-2, без поиска. Это сложно, потому что количество токенов не указано явно, поэтому нужно частично оценивать и частично вычислять, проверяя способности поиска, знаний и математики. Grok 3 с включенным мышлением отлично справился, в то время как o1 pro (модель мышления GPT) не справился.

Мне нравится, что модель пытается решить гипотезу Римана, когда её просят об этом, подобно DeepSeek-R1, в отличие от многих других моделей, которые сразу сдаются (o1-pro, Claude, Gemini 2.0 Flash Thinking) и просто говорят, что это великая нерешённая проблема.

DeepSearch
Очень интересное предложение, которое, похоже, сочетает в себе что-то вроде "Deep Research" от OpenAI/Perplexity вместе с мышлением. Может давать качественные ответы на различные исследовательские вопросы. Вот несколько примеров:

✅ "Что там с предстоящим запуском Apple? Какие слухи?"
✅ "Почему в последнее время растут акции Palantir?"
✅ "White Lotus 3 - где снимали и та же ли команда, что в сезонах 1 и 2?"
✅ "Какой зубной пастой пользуется Брайан Джонсон?"
❌ "Где сейчас актёры 4 сезона Singles Inferno?"
❌ "Какую программу распознавания речи упоминал Саймон Уиллисон?"

❌ Я обнаружил некоторые проблемные места. Например, модель, похоже, по умолчанию не любит ссылаться на X как на источник, хотя можно явно попросить её об этом. Несколько раз я ловил её на галлюцинациях с несуществующими URL. Иногда она утверждала фактические вещи, которые, думаю, неверны, и не предоставляла для них цитат (вероятно, их не существует). Например, она сказала мне, что "Ким Чжон Су всё ещё встречается с Ким Мин Соль" из Singles Inferno Season 4, что наверняка совершенно неверно. А когда я попросил создать отчёт о крупных лабораториях LLM, их общем финансировании и оценке количества сотрудников, она перечислила 12 основных лабораторий, но не включила себя (xAI).

DeepSearch примерно на уровне DeepResearch от Perplexity (что само по себе здорово!), но пока не дотягивает до недавно выпущенного OpenAI "Deep Research", который всё ещё кажется более тщательным и надёжным (хотя тоже далеко не идеален - он тоже неправильно исключает xAI из "основных лабораторий LLM", когда я попробовал с ним...)

Случайные "подводные камни" LLM
Я попробовал ещё несколько забавных тестовых запросов, которые люблю периодически проверять. Это запросы, которые специально простые для людей, но сложные для LLM, и мне было интересно, с какими из них Grok 3 справляется лучше.

✅ Grok 3 знает, что в слове "strawberry" три буквы "r", но при этом сказал, что в LOLLAPALOOZA только три "L". Включение режима мышления решает эту проблему.

Сергей Булаев AI 🤖 - об AI и не только

✅ Grok 3 сказал мне, что 9.11 > 9.9 (распространено и у других LLM), но опять же, включение мышления решает это.

✅ Несколько простых головоломок работали нормально даже без мышления, например, "У Салли (девочки) 3 брата. У каждого брата 2 сестры. Сколько сестёр у Салли?" GPT4o, например, неправильно отвечает 2.

❌ К сожалению, чувство юмора модели не кажется явно улучшенным. Это распространённая проблема LLM с юмором и общим схлопыванием режимов - например, известно, что 90% из 1008 ответов ChatGPT на просьбу рассказать шутку были повторениями одних и тех же 25 шуток. Даже при более детальных промптах, уводящих от простых каламбуров (например, "дай мне стендап"), я не уверен, что это юмор на уровне современных достижений. Пример сгенерированной шутки: "Почему курица присоединилась к группе? Потому что у неё были барабанные палочки, и она хотела стать рок-звездой!" Режим мышления не помог, возможно, даже немного ухудшил ситуацию.

❌ Модель всё ещё кажется слишком чувствительной к "сложным этическим вопросам", например, сгенерировала страничное эссе, по сути отказываясь ответить, может ли быть этически оправданным неправильное обращение к чьему-то полу, если это означает спасение миллиона людей от смерти.

❌ Тест Саймона Уиллисона "Сгенерируй SVG пеликана на велосипеде". Это проверяет способность LLM располагать множество элементов на 2D-сетке, что очень сложно, потому что LLM не могут "видеть" как люди, поэтому располагают вещи вслепую, в тексте. Отмечаю как неудачу, потому что эти пеликаны довольно хороши, но всё же немного сломаны. У Claude получаются лучшие, но, думаю, они специально тренировали способности SVG во время обучения.

Итог
Судя по быстрой проверке в течение ~2 часов этим утром, Grok 3 + Thinking ощущается где-то на уровне самых современных моделей OpenAI (o1-pro, $200/месяц) и немного лучше DeepSeek-R1 и Gemini 2.0 Flash Thinking. Это невероятно, учитывая, что команда начала с нуля ~1 год назад - такие сроки достижения современного уровня беспрецедентны. Учтите также оговорки - модели стохастичны и могут давать слегка разные ответы каждый раз, и сейчас очень рано, поэтому нам придётся подождать гораздо больше оценок в течение следующих дней/недель. Ранние результаты LM arena выглядят весьма обнадёживающе. Пока что, большие поздравления команде xAI - у них явно огромная скорость и импульс, и я рад добавить Grok 3 в свой "совет LLM" и услышать, что он думает в будущем.

Сергей Булаев AI 🤖 - об AI и не только