Notice: file_put_contents(): Write of 16889 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50

Warning: file_put_contents(): Only 4096 of 20985 bytes written, possibly out of free disk space in /var/www/group-telegram/post.php on line 50
Kali Novskaya | Telegram Webview: rybolos_channel/1291 -
Telegram Group & Telegram Channel
🌸Хроники краха OpenAI🌸
#nlp #про_nlp

Пьеса в трех актах.
Пост — следствие моей хорошей, но избирательной памяти.

🌸Акт первый. Масштабирование
🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья, и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из HuggingFace

🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья к ней. Веса выложили в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!

🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг. 

🌸Акт второй. Безопасность
🟣Декабрь 2020  — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают Anthropic

🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо

🟣Январь 2022 — Dalle 2

🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.

🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями

🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя

🌸Акт третий. Масштабирование отменяется. Нас всех тошнит
🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.

🟣Ноябрь 2023 — Где Илья? Суцкевер перестаёт показываться публично

🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video

🟣Январь 2024— OpenAI убирает военные применения из исключений в своем кодексе

🟣Март 2024 — исход команды safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.

🟣Май 2024 — выходят модели поменьше — GPT4o

🟣Июль 2024 — выходит модель еще меньше — GPT4o mini

🟣Июнь 2024 — в совете директоров появляется ЦРУ

🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает Situational awareness: 160-страничную туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.

🟣Июль 2024 — Майкрософт выходит из борды совета директоров OpenAI.

🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman, уходит в Anthropic.

🟣Сентябрь 2024 — увольняется основной автор SORA, Tim Brooks. SORA не выходит.

🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.

🟣Сентябрь 2024 — Уходит CTO Мира Мурати, в также Chief Research Officer и VP Research

🟣Сентябрь 2024 — OpenAI мeняет структуру и готовится стать For profit company

🟣Октябрь 2024 — Уходит глава AGI Readiness.

🟣Октябрь 2024 — между OpenAI и Microsoft нарастает напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании. 

Занавес.
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/rybolos_channel/1291
Create:
Last Update:

🌸Хроники краха OpenAI🌸
#nlp #про_nlp

Пьеса в трех актах.
Пост — следствие моей хорошей, но избирательной памяти.

🌸Акт первый. Масштабирование
🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит статья, и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из HuggingFace

🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot ("промптов еще тогда не было" — буду так это внукам рассказывать). И статья к ней. Веса выложили в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!

🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг. 

🌸Акт второй. Безопасность
🟣Декабрь 2020  — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают Anthropic

🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо

🟣Январь 2022 — Dalle 2

🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.

🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями

🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя

🌸Акт третий. Масштабирование отменяется. Нас всех тошнит
🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.

🟣Ноябрь 2023 — Где Илья? Суцкевер перестаёт показываться публично

🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video

🟣Январь 2024— OpenAI убирает военные применения из исключений в своем кодексе

🟣Март 2024 — исход команды safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.

🟣Май 2024 — выходят модели поменьше — GPT4o

🟣Июль 2024 — выходит модель еще меньше — GPT4o mini

🟣Июнь 2024 — в совете директоров появляется ЦРУ

🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает Situational awareness: 160-страничную туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.

🟣Июль 2024 — Майкрософт выходит из борды совета директоров OpenAI.

🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman, уходит в Anthropic.

🟣Сентябрь 2024 — увольняется основной автор SORA, Tim Brooks. SORA не выходит.

🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.

🟣Сентябрь 2024 — Уходит CTO Мира Мурати, в также Chief Research Officer и VP Research

🟣Сентябрь 2024 — OpenAI мeняет структуру и готовится стать For profit company

🟣Октябрь 2024 — Уходит глава AGI Readiness.

🟣Октябрь 2024 — между OpenAI и Microsoft нарастает напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании. 

Занавес.

BY Kali Novskaya


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/rybolos_channel/1291

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon." In 2014, Pavel Durov fled the country after allies of the Kremlin took control of the social networking site most know just as VK. Russia's intelligence agency had asked Durov to turn over the data of anti-Kremlin protesters. Durov refused to do so. The gold standard of encryption, known as end-to-end encryption, where only the sender and person who receives the message are able to see it, is available on Telegram only when the Secret Chat function is enabled. Voice and video calls are also completely encrypted. In addition, Telegram now supports the use of third-party streaming tools like OBS Studio and XSplit to broadcast live video, allowing users to add overlays and multi-screen layouts for a more professional look. But because group chats and the channel features are not end-to-end encrypted, Galperin said user privacy is potentially under threat.
from ca


Telegram Kali Novskaya
FROM American