Telegram Group & Telegram Channel
The Information поделились новым куском информации про грядущую модель под кодовым названием Orion (aka GPT-5... или нет)

Тезисно:
1️⃣ В мае Sam Altman говорил сотрудникам компании, что следующая модель будет значимо лучше, чем GPT-4. На тот момент процесс предтренировки (самый ресурсоёмкий) был закончен на 20%, и Orion уже сравнялся по качеству с GPT-4 по «интеллекту» и навыкам, проверяемым разными бенчмарками. По более ранней информации The Information, Microsoft отдали свежий крупный кластер в распоряжение OpenAI в ~феврале, а тренировка началась попозже (и к маю достигла вот 20%)
2️⃣ По словам некоторых сотрудников OpenAI, использовавших или тестировавших Orion, хотя её производительность в конечном итоге превзошла оную предыдущих моделей, прирост качества оказался гораздо меньше по сравнению с переходом от GPT-3 к GPT-4 (что логично: в большинстве задач и бенчмарков просто невозможно так скакнуть; например, если раньше был скачок от 65% до 85% в какой-то задаче, то теперь же не до 105% прыгать).
3️⃣ Другой сотрудник сказал, что Orion лучше справляется с языковыми задачами, но может не превзойти предыдущие модели в, например, программировании (что для меня звучит странно, я бы ожидал ровно обратного). Моё примечание: может быть так, что журналисты что-то не так поняли, и, скажем, в OpenAI сравнивали обкатанную заточенную GPT-4o и голый Orion без существенного дообучения на выполнение запросов. А может и нет 🤷‍♂️
4️⃣ OpenAI ещё предстоит завершить длительный процесс тестирования безопасности Orion перед публичным запуском.
5️⃣ 🚨Компания планирует выпустить Orion в начале следующего года🚨; однако название модели может отклониться от традиционного нейминга «GPT» для флагманских моделей (R.I.P. GPT-5)
6️⃣ Частью проблемы дальнейшего масштабирования является наличие высококачественных данных. Уже сейчас Orion активно тренируют на синтетических данных, то есть таких текстах, которые сгенерированы другими моделями (o1 или gpt-4o). Для этого создана отдельная команда под руководством Nick Ryder (VP of Research, 5.5 лет в компании), одной из дополнительных целей которой является определение того, насколько долго можно будет следовать законам масштабирования

Ранее TheVerge писали, что Gemini 2.0, планируемая к запуску в декабре, не показывала ожидаемых приростов метрик во внутренних замерах. В этой новости The Information не говорилось про «ниже ожиданий» касательно Orion, но настроение немного схожее.

Ожидаем 🥊крепкую битву тяжеловесов🥊 к середине первого квартала 2025-го
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/seeallochnaya/1983
Create:
Last Update:

The Information поделились новым куском информации про грядущую модель под кодовым названием Orion (aka GPT-5... или нет)

Тезисно:
1️⃣ В мае Sam Altman говорил сотрудникам компании, что следующая модель будет значимо лучше, чем GPT-4. На тот момент процесс предтренировки (самый ресурсоёмкий) был закончен на 20%, и Orion уже сравнялся по качеству с GPT-4 по «интеллекту» и навыкам, проверяемым разными бенчмарками. По более ранней информации The Information, Microsoft отдали свежий крупный кластер в распоряжение OpenAI в ~феврале, а тренировка началась попозже (и к маю достигла вот 20%)
2️⃣ По словам некоторых сотрудников OpenAI, использовавших или тестировавших Orion, хотя её производительность в конечном итоге превзошла оную предыдущих моделей, прирост качества оказался гораздо меньше по сравнению с переходом от GPT-3 к GPT-4 (что логично: в большинстве задач и бенчмарков просто невозможно так скакнуть; например, если раньше был скачок от 65% до 85% в какой-то задаче, то теперь же не до 105% прыгать).
3️⃣ Другой сотрудник сказал, что Orion лучше справляется с языковыми задачами, но может не превзойти предыдущие модели в, например, программировании (что для меня звучит странно, я бы ожидал ровно обратного). Моё примечание: может быть так, что журналисты что-то не так поняли, и, скажем, в OpenAI сравнивали обкатанную заточенную GPT-4o и голый Orion без существенного дообучения на выполнение запросов. А может и нет 🤷‍♂️
4️⃣ OpenAI ещё предстоит завершить длительный процесс тестирования безопасности Orion перед публичным запуском.
5️⃣ 🚨Компания планирует выпустить Orion в начале следующего года🚨; однако название модели может отклониться от традиционного нейминга «GPT» для флагманских моделей (R.I.P. GPT-5)
6️⃣ Частью проблемы дальнейшего масштабирования является наличие высококачественных данных. Уже сейчас Orion активно тренируют на синтетических данных, то есть таких текстах, которые сгенерированы другими моделями (o1 или gpt-4o). Для этого создана отдельная команда под руководством Nick Ryder (VP of Research, 5.5 лет в компании), одной из дополнительных целей которой является определение того, насколько долго можно будет следовать законам масштабирования

Ранее TheVerge писали, что Gemini 2.0, планируемая к запуску в декабре, не показывала ожидаемых приростов метрик во внутренних замерах. В этой новости The Information не говорилось про «ниже ожиданий» касательно Orion, но настроение немного схожее.

Ожидаем 🥊крепкую битву тяжеловесов🥊 к середине первого квартала 2025-го

BY Сиолошная




Share with your friend now:
group-telegram.com/seeallochnaya/1983

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. I want a secure messaging app, should I use Telegram? At the start of 2018, the company attempted to launch an Initial Coin Offering (ICO) which would enable it to enable payments (and earn the cash that comes from doing so). The initial signals were promising, especially given Telegram’s user base is already fairly crypto-savvy. It raised an initial tranche of cash – worth more than a billion dollars – to help develop the coin before opening sales to the public. Unfortunately, third-party sales of coins bought in those initial fundraising rounds raised the ire of the SEC, which brought the hammer down on the whole operation. In 2020, officials ordered Telegram to pay a fine of $18.5 million and hand back much of the cash that it had raised. Update March 8, 2022: EFF has clarified that Channels and Groups are not fully encrypted, end-to-end, updated our post to link to Telegram’s FAQ for Cloud and Secret chats, updated to clarify that auto-delete is available for group and channel admins, and added some additional links. READ MORE
from es


Telegram Сиолошная
FROM American