Сергей Булаев AI 🤖

TheInformation вбрасывает немного пессимизма. Похоже, что эпоха квантовых прорывов заканчивается, и компании придется искать новые пути развития в условиях ограниченных ресурсов и замедляющегося прогресса.

Новая модель OpenAI - Orion показывает значительно меньший прирост качества по сравнению с разницей между GPT-3 и GPT-4.

В мае Сэм Альтман хвастался сотрудникам тем, что Orion на 20% обучения достигла уровня GPT-4, но финальные результаты оказались менее впечатляющими.

Orion лучше справляется с языковыми задачами, но уступает предыдущим моделям в программировании, при этом её эксплуатация дороже.

OpenAI создала специальную "foundations team" под руководством Ника Райдера для решения проблемы нехватки качественных данных для обучения.

Компания частично обучает Orion на синтетических данных, созданных другими моделями OpenAI, включая GPT-4, что приводит к "наследованию" особенностей старых моделей.

OpenAI также работает над ПО, способным управлять компьютером для выполнения офисных задач. (Но мы знаем, что Claude - уже там)

Исследователь OpenAI Ноам Браун публично усомнился в экономической целесообразности разработки более продвинутых моделей, стоимость которых может достигать сотен миллиардов долларов.

Марк Цукерберг считает, что даже если прогресс остановится сейчас, текущего уровня ИИ достаточно для создания множества полезных продуктов.

Бен Хоровиц отмечает, что увеличение количества GPU не приводит к соответствующему росту интеллектуальных способностей моделей.

Сергей Булаев AI 🤖 - об AI и не только

www.group-telegram.com/it/sergiobulaev.com/827

2.5K viewsNov 10, 2024 at 05:33

TheInformation вбрасывает немного пессимизма. Похоже, что эпоха квантовых прорывов заканчивается, и компании придется искать новые пути развития в условиях ограниченных ресурсов и замедляющегося прогресса.

Новая модель OpenAI - Orion показывает значительно меньший прирост качества по сравнению с разницей между GPT-3 и GPT-4.

В мае Сэм Альтман хвастался сотрудникам тем, что Orion на 20% обучения достигла уровня GPT-4, но финальные результаты оказались менее впечатляющими.

Orion лучше справляется с языковыми задачами, но уступает предыдущим моделям в программировании, при этом её эксплуатация дороже.

OpenAI создала специальную "foundations team" под руководством Ника Райдера для решения проблемы нехватки качественных данных для обучения.

Компания частично обучает Orion на синтетических данных, созданных другими моделями OpenAI, включая GPT-4, что приводит к "наследованию" особенностей старых моделей.

OpenAI также работает над ПО, способным управлять компьютером для выполнения офисных задач. (Но мы знаем, что Claude - уже там)

Исследователь OpenAI Ноам Браун публично усомнился в экономической целесообразности разработки более продвинутых моделей, стоимость которых может достигать сотен миллиардов долларов.

Марк Цукерберг считает, что даже если прогресс остановится сейчас, текущего уровня ИИ достаточно для создания множества полезных продуктов.

Бен Хоровиц отмечает, что увеличение количества GPU не приводит к соответствующему росту интеллектуальных способностей моделей.

Сергей Булаев AI 🤖 - об AI и не только

BY Сергей Булаев AI 🤖