Telegram Group & Telegram Channel
🌸Хроники краха OpenAI🌸
#nlp #про_nlp

Пьеса в трех актах.
Пост — следствие моей хорошей, но избирательной памяти.

🌸Акт первый. Масштабирование
🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья, и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из HuggingFace

🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья к ней. Веса выложили в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!

🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг. 

🌸Акт второй. Безопасность
🟣Декабрь 2020  — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают Anthropic

🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо

🟣Январь 2022 — Dalle 2

🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.

🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями

🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя

🌸Акт третий. Масштабирование отменяется. Нас всех тошнит
🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.

🟣Ноябрь 2023 — Где Илья? Суцкевер перестаёт показываться публично

🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video

🟣Январь 2024— OpenAI убирает военные применения из исключений в своем кодексе

🟣Март 2024 — исход команды safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.

🟣Май 2024 — выходят модели поменьше — GPT4o

🟣Июль 2024 — выходит модель еще меньше — GPT4o mini

🟣Июнь 2024 — в совете директоров появляется ЦРУ

🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает Situational awareness: 160-страничную туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.

🟣Июль 2024 — Майкрософт выходит из борды совета директоров OpenAI.

🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman, уходит в Anthropic.

🟣Сентябрь 2024 — увольняется основной автор SORA, Tim Brooks. SORA не выходит.

🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.

🟣Сентябрь 2024 — Уходит CTO Мира Мурати, в также Chief Research Officer и VP Research

🟣Сентябрь 2024 — OpenAI мeняет структуру и готовится стать For profit company

🟣Октябрь 2024 — Уходит глава AGI Readiness.

🟣Октябрь 2024 — между OpenAI и Microsoft нарастает напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании. 

Занавес.
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/rybolos_channel/1291
Create:
Last Update:

🌸Хроники краха OpenAI🌸
#nlp #про_nlp

Пьеса в трех актах.
Пост — следствие моей хорошей, но избирательной памяти.

🌸Акт первый. Масштабирование
🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья, и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из HuggingFace

🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья к ней. Веса выложили в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!

🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг. 

🌸Акт второй. Безопасность
🟣Декабрь 2020  — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают Anthropic

🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо

🟣Январь 2022 — Dalle 2

🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.

🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями

🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя

🌸Акт третий. Масштабирование отменяется. Нас всех тошнит
🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.

🟣Ноябрь 2023 — Где Илья? Суцкевер перестаёт показываться публично

🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video

🟣Январь 2024— OpenAI убирает военные применения из исключений в своем кодексе

🟣Март 2024 — исход команды safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.

🟣Май 2024 — выходят модели поменьше — GPT4o

🟣Июль 2024 — выходит модель еще меньше — GPT4o mini

🟣Июнь 2024 — в совете директоров появляется ЦРУ

🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает Situational awareness: 160-страничную туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.

🟣Июль 2024 — Майкрософт выходит из борды совета директоров OpenAI.

🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman, уходит в Anthropic.

🟣Сентябрь 2024 — увольняется основной автор SORA, Tim Brooks. SORA не выходит.

🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.

🟣Сентябрь 2024 — Уходит CTO Мира Мурати, в также Chief Research Officer и VP Research

🟣Сентябрь 2024 — OpenAI мeняет структуру и готовится стать For profit company

🟣Октябрь 2024 — Уходит глава AGI Readiness.

🟣Октябрь 2024 — между OpenAI и Microsoft нарастает напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании. 

Занавес.

BY Kali Novskaya


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/rybolos_channel/1291

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

The fake Zelenskiy account reached 20,000 followers on Telegram before it was shut down, a remedial action that experts say is all too rare. And while money initially moved into stocks in the morning, capital moved out of safe-haven assets. The price of the 10-year Treasury note fell Friday, sending its yield up to 2% from a March closing low of 1.73%. The regulator took order for the search and seizure operation from Judge Purushottam B Jadhav, Sebi Special Judge / Additional Sessions Judge. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. Two days after Russia invaded Ukraine, an account on the Telegram messaging platform posing as President Volodymyr Zelenskiy urged his armed forces to surrender.
from us


Telegram Kali Novskaya
FROM American