Telegram Group & Telegram Channel
The Information поделились новым куском информации про грядущую модель под кодовым названием Orion (aka GPT-5... или нет)

Тезисно:
1️⃣ В мае Sam Altman говорил сотрудникам компании, что следующая модель будет значимо лучше, чем GPT-4. На тот момент процесс предтренировки (самый ресурсоёмкий) был закончен на 20%, и Orion уже сравнялся по качеству с GPT-4 по «интеллекту» и навыкам, проверяемым разными бенчмарками. По более ранней информации The Information, Microsoft отдали свежий крупный кластер в распоряжение OpenAI в ~феврале, а тренировка началась попозже (и к маю достигла вот 20%)
2️⃣ По словам некоторых сотрудников OpenAI, использовавших или тестировавших Orion, хотя её производительность в конечном итоге превзошла оную предыдущих моделей, прирост качества оказался гораздо меньше по сравнению с переходом от GPT-3 к GPT-4 (что логично: в большинстве задач и бенчмарков просто невозможно так скакнуть; например, если раньше был скачок от 65% до 85% в какой-то задаче, то теперь же не до 105% прыгать).
3️⃣ Другой сотрудник сказал, что Orion лучше справляется с языковыми задачами, но может не превзойти предыдущие модели в, например, программировании (что для меня звучит странно, я бы ожидал ровно обратного). Моё примечание: может быть так, что журналисты что-то не так поняли, и, скажем, в OpenAI сравнивали обкатанную заточенную GPT-4o и голый Orion без существенного дообучения на выполнение запросов. А может и нет 🤷‍♂️
4️⃣ OpenAI ещё предстоит завершить длительный процесс тестирования безопасности Orion перед публичным запуском.
5️⃣ 🚨Компания планирует выпустить Orion в начале следующего года🚨; однако название модели может отклониться от традиционного нейминга «GPT» для флагманских моделей (R.I.P. GPT-5)
6️⃣ Частью проблемы дальнейшего масштабирования является наличие высококачественных данных. Уже сейчас Orion активно тренируют на синтетических данных, то есть таких текстах, которые сгенерированы другими моделями (o1 или gpt-4o). Для этого создана отдельная команда под руководством Nick Ryder (VP of Research, 5.5 лет в компании), одной из дополнительных целей которой является определение того, насколько долго можно будет следовать законам масштабирования

Ранее TheVerge писали, что Gemini 2.0, планируемая к запуску в декабре, не показывала ожидаемых приростов метрик во внутренних замерах. В этой новости The Information не говорилось про «ниже ожиданий» касательно Orion, но настроение немного схожее.

Ожидаем 🥊крепкую битву тяжеловесов🥊 к середине первого квартала 2025-го
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/seeallochnaya/1983
Create:
Last Update:

The Information поделились новым куском информации про грядущую модель под кодовым названием Orion (aka GPT-5... или нет)

Тезисно:
1️⃣ В мае Sam Altman говорил сотрудникам компании, что следующая модель будет значимо лучше, чем GPT-4. На тот момент процесс предтренировки (самый ресурсоёмкий) был закончен на 20%, и Orion уже сравнялся по качеству с GPT-4 по «интеллекту» и навыкам, проверяемым разными бенчмарками. По более ранней информации The Information, Microsoft отдали свежий крупный кластер в распоряжение OpenAI в ~феврале, а тренировка началась попозже (и к маю достигла вот 20%)
2️⃣ По словам некоторых сотрудников OpenAI, использовавших или тестировавших Orion, хотя её производительность в конечном итоге превзошла оную предыдущих моделей, прирост качества оказался гораздо меньше по сравнению с переходом от GPT-3 к GPT-4 (что логично: в большинстве задач и бенчмарков просто невозможно так скакнуть; например, если раньше был скачок от 65% до 85% в какой-то задаче, то теперь же не до 105% прыгать).
3️⃣ Другой сотрудник сказал, что Orion лучше справляется с языковыми задачами, но может не превзойти предыдущие модели в, например, программировании (что для меня звучит странно, я бы ожидал ровно обратного). Моё примечание: может быть так, что журналисты что-то не так поняли, и, скажем, в OpenAI сравнивали обкатанную заточенную GPT-4o и голый Orion без существенного дообучения на выполнение запросов. А может и нет 🤷‍♂️
4️⃣ OpenAI ещё предстоит завершить длительный процесс тестирования безопасности Orion перед публичным запуском.
5️⃣ 🚨Компания планирует выпустить Orion в начале следующего года🚨; однако название модели может отклониться от традиционного нейминга «GPT» для флагманских моделей (R.I.P. GPT-5)
6️⃣ Частью проблемы дальнейшего масштабирования является наличие высококачественных данных. Уже сейчас Orion активно тренируют на синтетических данных, то есть таких текстах, которые сгенерированы другими моделями (o1 или gpt-4o). Для этого создана отдельная команда под руководством Nick Ryder (VP of Research, 5.5 лет в компании), одной из дополнительных целей которой является определение того, насколько долго можно будет следовать законам масштабирования

Ранее TheVerge писали, что Gemini 2.0, планируемая к запуску в декабре, не показывала ожидаемых приростов метрик во внутренних замерах. В этой новости The Information не говорилось про «ниже ожиданий» касательно Orion, но настроение немного схожее.

Ожидаем 🥊крепкую битву тяжеловесов🥊 к середине первого квартала 2025-го

BY Сиолошная




Share with your friend now:
group-telegram.com/seeallochnaya/1983

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"And that set off kind of a battle royale for control of the platform that Durov eventually lost," said Nathalie Maréchal of the Washington advocacy group Ranking Digital Rights. If you initiate a Secret Chat, however, then these communications are end-to-end encrypted and are tied to the device you are using. That means it’s less convenient to access them across multiple platforms, but you are at far less risk of snooping. Back in the day, Secret Chats received some praise from the EFF, but the fact that its standard system isn’t as secure earned it some criticism. If you’re looking for something that is considered more reliable by privacy advocates, then Signal is the EFF’s preferred platform, although that too is not without some caveats. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%. "Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon."
from ye


Telegram Сиолошная
FROM American