🌸Хроники краха OpenAI🌸#nlp #про_nlp
Пьеса в трех актах.
Пост — следствие моей хорошей, но избирательной памяти.
🌸Акт первый. Масштабирование 🟣Июнь 2018 — выходит декодерная модель GPT, Generative Pre-trained Transformer 1. К ней выходит
статья, и все даже под открытой лицензией MIT).
Ее и сейчас можно загрузить из
HuggingFace 🟣Ноябрь 2019 — выходит GPT-2! Улучшенная версия, у которой обнаруживаются способности к in-context learning: few-shot, zero-shot
("промптов еще тогда не было" — буду так это внукам рассказывать). И
статья к ней. Веса
выложили в опенсорс только через полгода после анонса, лицензия — modified MIT, можно жить!
🟣Июнь 2020 — выходит GPT-3, масштабированная GPT-2. Статья выходит, веса — нет. Становится понятно, что все задачи, в общем-то, можно решать в генеративном сетапе. До SFT остается один шаг.
🌸Акт второй. Безопасность 🟣Декабрь 2020 — бунт на корабле! команда Safety и несколько ключевых людей из GPT-3 уходят и основывают
Anthropic 🟣Январь 2021 — Dalle, генерация text2image, кресло в форме авокадо
🟣Январь 2022 — Dalle 2
🟣Ноябрь 2022 — ChatGPT! сами все знаете. Месяц, когда работа NLP-шника стала уважаемой, люди стали здороваться, обнимать на улице, брататься.
🟣Март 2023 — GPT-4! И затем — мультимодальность, удешевление GPT-4 дистиллированными версиями
🟣Сентябрь 2023 — Dalle 3, автоматическая аугментация промптов за пользователя
🌸Акт третий. Масштабирование отменяется. Нас всех тошнит 🟣Октябрь 2023 — опять бунт на корабле! Сэма Альтмана увольняет борда с связи с недоверием. Параллельно начинаются проблемы с инфраструктурой, у нас в снэптаче падает прод на какое-то время.
🟣Ноябрь 2023 —
Где Илья? Суцкевер перестаёт показываться публично
🟣Январь 2024 — анонсирована SORA, революционнвя модель text2video
🟣Январь 2024— OpenAI убирает
военные применения из исключений в своем кодексе
🟣Март 2024 —
исход команды safety и Superalignment. Официально уходит Илья Суцкевер, апологет скейлинга. Увидим ли мы что-то действительно масштабное теперь? Не ясно.
🟣Май 2024 — выходят модели поменьше — GPT4o
🟣Июль 2024 — выходит модель еще меньше — GPT4o mini
🟣Июнь 2024 — в совете директоров
появляется ЦРУ🟣Июнь 2024 — Leopold Aschenbrenner, интерн, суммарно проработавший в OpenAI полгода, выпускает
Situational awareness: 160-страничную
туалетную бумагу политагитку со спекуляциями и призывами срочно обогнать плохой-плохой Китай. И некоторыми интересными внутренними оценками OpenAI относительно пути к AGI. Сей опус магнум потом запостит у себя в Твиттере Иванка Трамп. Труд нашёл свою аудиторию.
🟣Июль 2024 — Майкрософт
выходит из борды совета директоров OpenAI.
🟣Август 2024 — в бессрочный отпуск выходит Greg Brockman, сооснователь компании. Ещё один сооснователь, John Schulman,
уходит в Anthropic.
🟣Сентябрь 2024 —
увольняется основной автор SORA, Tim Brooks. SORA не выходит.
🟣Сентябрь 2024 — Выходят модели О1, O1mini. Проект, отдельный от GPT, по слухам, занявший 1.5 года.
🟣Сентябрь 2024 —
Уходит CTO Мира Мурати, в также Chief Research Officer и VP Research
🟣Сентябрь 2024 — OpenAI
мeняет структуру и готовится стать For profit company
🟣Октябрь 2024 —
Уходит глава AGI Readiness.
🟣Октябрь 2024 — между OpenAI и Microsoft
нарастает напряжение, Сулейман кричит на сотрудников на митингах, выч мощностей не хватает. По контракту, если OAI сделает AGI, Microsoft теряет доступ к технологиям. Но при этом Microsoft сейчас контролирует объем получаемых мощностей компании.
Занавес.
