Кстати еще в Le Chat завезли Flux 1.1 Ultra - чат сейчас реально раскачаивают
Из минусов - это то, что бесплатно дает погенерить только несколько картинок, а дальше просит денег.
Если что, то Flux 1.1 Ultra можно потыкать вот тут: https://replicate.com/black-forest-labs/flux-1.1-pro-ultra
Качество действительно хорошее! Но генерация занимает до 12 секунд, и нужно привязывать карту ($0.06 / image).
@ai_newz
Из минусов - это то, что бесплатно дает погенерить только несколько картинок, а дальше просит денег.
Если что, то Flux 1.1 Ultra можно потыкать вот тут: https://replicate.com/black-forest-labs/flux-1.1-pro-ultra
Качество действительно хорошее! Но генерация занимает до 12 секунд, и нужно привязывать карту ($0.06 / image).
@ai_newz
SSI Ильи Суцкевера ведёт переговоры о раунде инвестиций с оценкой в $20 миллиардов
Оцените скорость роста - компания появилась в начале лета, через три месяца она уже оценивалась в 5 миллиардов долларов и привлекла миллиард. И полгода не прошло - уже ходят слухи о привлечении денег при оценк в 4 раза выше.
При этом компания не планирует выпускать никаких продуктов в ближайшее время - они пропускают все промежуточные этапы и идут напрямую к "безопасному сверхинтеллекту".
Интересно, что такое Илья показывает инвесторам?
@ai_newz
Оцените скорость роста - компания появилась в начале лета, через три месяца она уже оценивалась в 5 миллиардов долларов и привлекла миллиард. И полгода не прошло - уже ходят слухи о привлечении денег при оценк в 4 раза выше.
При этом компания не планирует выпускать никаких продуктов в ближайшее время - они пропускают все промежуточные этапы и идут напрямую к "безопасному сверхинтеллекту".
Интересно, что такое Илья показывает инвесторам?
@ai_newz
Нейродайджест за неделю (#55)
LLM
- Deep Research – самый умный поиск от OpenAI, основанный на еще не релизнутой O3.
- Gemini 2.0 Flash – лучший в своей весовой категории.
- Le Chat – французы сделали самого быстрого бота на Диком Западе, генерит в 30 раз быстрее, чем ChatGPT, на неплохом уровне. Там же теперь можно потыкать Flux 1.1 Ultra.
Гайды
- LLM с нуля с Карпатым – гений гайдов из OpenAI взялся за основы.
Прочее
- Илья Суцкевер ту зе мун! – стартап по разработке AGI без прибыли собираются оценить в 20 миллиардов зеленых.
- Pickle – ваш виртуальный двойник с реалтайм липсинком для митов. Лежим на диване, пока ваш клон отсиживается на мите.
> Читать дайджест #54
#дайджест
@ai_newz
LLM
- Deep Research – самый умный поиск от OpenAI, основанный на еще не релизнутой O3.
- Gemini 2.0 Flash – лучший в своей весовой категории.
- Le Chat – французы сделали самого быстрого бота на Диком Западе, генерит в 30 раз быстрее, чем ChatGPT, на неплохом уровне. Там же теперь можно потыкать Flux 1.1 Ultra.
Гайды
- LLM с нуля с Карпатым – гений гайдов из OpenAI взялся за основы.
Прочее
- Илья Суцкевер ту зе мун! – стартап по разработке AGI без прибыли собираются оценить в 20 миллиардов зеленых.
- Pickle – ваш виртуальный двойник с реалтайм липсинком для митов. Лежим на диване, пока ваш клон отсиживается на мите.
> Читать дайджест #54
#дайджест
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
На AI Action Summit, президент Эммануэль Макрон анонсировал гигантские инвестиции во французскую ИИ индустрию - 109 миллиардов евро в течении следующих нескольких лет. Вплоть до 50 миллиардов придёт от фонда MGX из ОАЭ (он также участвует в финансировании Stargate), 20 миллиардов - от канадской инвестионной фирмы Brookfield, остальные деньги от плеяды более мелких инвесторов.
Значительная часть из вычислительных ресурсов, построенных на эти деньги, явно уйдёт Mistral - это сейчас единственная европейская компания способная выдавать конкурентноспособные LLM. Стартапам поменьше тоже достанется порядочно, но вот сколько - вопрос.
Похоже, что это всё часть единой европейской стратегии по ИИ, которую должны представить завтра. Она должна включать упрощенные регуляции, на замену отвратительному AI Act. Франция в этой стратегии должна сыграть лидирующую роль - у страны есть и куча талантов, и большие избытки атомной электроэнергии и доступ к современным чипам.
Государства всё ещё лишь начинают играть мышцами в сфере ИИ, это не последний такой анонс в этом году. Мои выводы после анонса Stargate лишь подтверждаются.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Наглядно о том, как быстро сейчас идет прогресс в LLM и как быстро насыщаются бенчмарки.
Но это нормальная история, что более простые начинают решаться под сотню, в том числе и потому что они просачиваются в тренировочные выборки, им на смену приходят более подковыристые. Я в своей карьере такое видел уже не раз, как минимум на бенчмарках по Visual Recognition.
Напомню, что Humanity's last exam сейчас решается на 26% моделью DeepResearch от OpenAI, тогда как GPT-4o выдает 3.3% на нем.
А я все также не могу доверять LLM важные задачи, где критична точность – в основном из-за галлюцинаций. Но все равно прогресс огромный, и многие вещи получается автоматизировать.
Графиком поделился ресерчер из OpenAI.
@ai_newz
Но это нормальная история, что более простые начинают решаться под сотню, в том числе и потому что они просачиваются в тренировочные выборки, им на смену приходят более подковыристые. Я в своей карьере такое видел уже не раз, как минимум на бенчмарках по Visual Recognition.
Напомню, что Humanity's last exam сейчас решается на 26% моделью DeepResearch от OpenAI, тогда как GPT-4o выдает 3.3% на нем.
А я все также не могу доверять LLM важные задачи, где критична точность – в основном из-за галлюцинаций. Но все равно прогресс огромный, и многие вещи получается автоматизировать.
Графиком поделился ресерчер из OpenAI.
@ai_newz
Маск продолжает вставлять палки в колёса OpenAI
Группа инвесторов, во главе с Илоном, предложила 97,4 миллиарда долларов за OpenAI. Компанию продавать им никто не собирается, о чём уже заявил Сэм Альтман, но такое предложение само по себе создаёт OpenAI с инвесторами огромные проблемы.
Дело в том, что у OpenAI крайне необычная структура - компания всё ещё принадлежит нонпрофиту со своим советом директоров. Это уже привело к инциденту с увольнением Сэма Альтмана в конце 2023, когда основного инвестора — Microsoft, даже не предупредили. Представьте шок, когда вы инвестировали более 10 миллиардов долларов и узнаёте о том, что совет директоров сместил CEO, из новостей.
После таких финтов ушами, следующий крупный раунд OpenAI уже был с условием превращения компании в коммерческую в течении двух лет. В противном случае, OpenAI обязались вернуть инвестированные 6 миллиардов.
Но выполнить требования инвесторов так просто нельзя - коммерческую структуру OpenAI нужно выкупить из под контроля нонпрофита. До предложения Маска, такую сделку можно было достаточно легко провернуть за относительно небольшую сумму, теперь всё сильно усложнилось.
Если совет директоров нонпрофита согласится на меньшую ставку, то такое решение придётся объяснять целой куче инстанций, которые могут легко заблокировать сделку. А перебить предложение Маска будет сложно — в его предложении вишенкой на торте служит обещание перебить предложение любых других инвесторов такой же либо ещё большей ставкой.
То есть у OpenAI выходит неприятная ситуация — либо вступать в ценовую гонку с Маском, что сильно облегчит кошельки инвесторов, либо их затаскают по судам. Если отменить превращение в коммерческую организацию, то компания будет в минусе на 6 миллиардов и с туманными перспективами будущих инвестиций.
В ситуации есть ещё куча неизвестных, кажется, мы ещё долго будем обсуждать новую драму с OpenAI.
@ai_newz
Группа инвесторов, во главе с Илоном, предложила 97,4 миллиарда долларов за OpenAI. Компанию продавать им никто не собирается, о чём уже заявил Сэм Альтман, но такое предложение само по себе создаёт OpenAI с инвесторами огромные проблемы.
Дело в том, что у OpenAI крайне необычная структура - компания всё ещё принадлежит нонпрофиту со своим советом директоров. Это уже привело к инциденту с увольнением Сэма Альтмана в конце 2023, когда основного инвестора — Microsoft, даже не предупредили. Представьте шок, когда вы инвестировали более 10 миллиардов долларов и узнаёте о том, что совет директоров сместил CEO, из новостей.
После таких финтов ушами, следующий крупный раунд OpenAI уже был с условием превращения компании в коммерческую в течении двух лет. В противном случае, OpenAI обязались вернуть инвестированные 6 миллиардов.
Но выполнить требования инвесторов так просто нельзя - коммерческую структуру OpenAI нужно выкупить из под контроля нонпрофита. До предложения Маска, такую сделку можно было достаточно легко провернуть за относительно небольшую сумму, теперь всё сильно усложнилось.
Если совет директоров нонпрофита согласится на меньшую ставку, то такое решение придётся объяснять целой куче инстанций, которые могут легко заблокировать сделку. А перебить предложение Маска будет сложно — в его предложении вишенкой на торте служит обещание перебить предложение любых других инвесторов такой же либо ещё большей ставкой.
То есть у OpenAI выходит неприятная ситуация — либо вступать в ценовую гонку с Маском, что сильно облегчит кошельки инвесторов, либо их затаскают по судам. Если отменить превращение в коммерческую организацию, то компания будет в минусе на 6 миллиардов и с туманными перспективами будущих инвестиций.
В ситуации есть ещё куча неизвестных, кажется, мы ещё долго будем обсуждать новую драму с OpenAI.
@ai_newz
Forwarded from Denis Sexy IT 🤖
Европа уже какой день подряд говорит про АИ на самом верхнем уровне – последнее выступление Урсулы фон дер Ляйен от сегодня уже с конкретными шагами, включая послабление регуляции:
1. Предоставление суперкомпьютеров для разработчиков ИИ
• Дать ресечерам «одни из самых быстрых суперкомпьютеров в мире» для учёных и стартапов
Цель: чтобы любые компании (а не только крупные) могли получать доступ к вычислительным ресурсам
2. Создание «фабрик ИИ» (AI factories)
• Уже запущено 12 таких центров
• Общие инвестиции – 10 млрд евро из публичных источников, которые привлекут ещё большую долю частного капитала
3. Переход к «гигафабрикам ИИ» (AI Gigafactories)
• Создать аналог CERN, но в сфере ИИ
• Предоставление крупных объёмов вычислительных мощностей для работы над большими моделями
4. Единое регулирование ИИ в Европе
• Принятие единого «Акта об ИИ» (AI Act) для всех 27 стран ЕС.
• Унифицированные правила АИ-безопасности и доверия вместо разрозненных национальных законов
• Обещано снижение бюрократических барьеров (ака дерегуляция, ура! Это про что я открытое письмо подписывал летом)
5. Объявлены масштабные инвестиционные программы
• Инициатива European AI Champions Initiative обеспечивает 150 млрд евро
• Программа InvestAI добавляет ещё 50 млрд.
• Итого: 200 млрд евро на развитие «доверенного ИИ» с упором на промышленную и критически важную инфраструктуру
6. Поддержка глобального сотрудничества
• Участие в запуске AI Foundation и расширение доступа к ИИ для развивающихся стран («Глобального Юга»)
• Цель – сделать ИИ доступным и полезным для всех
ИИ-гонка идет полным ходом🐱
1. Предоставление суперкомпьютеров для разработчиков ИИ
• Дать ресечерам «одни из самых быстрых суперкомпьютеров в мире» для учёных и стартапов
Цель: чтобы любые компании (а не только крупные) могли получать доступ к вычислительным ресурсам
2. Создание «фабрик ИИ» (AI factories)
• Уже запущено 12 таких центров
• Общие инвестиции – 10 млрд евро из публичных источников, которые привлекут ещё большую долю частного капитала
3. Переход к «гигафабрикам ИИ» (AI Gigafactories)
• Создать аналог CERN, но в сфере ИИ
• Предоставление крупных объёмов вычислительных мощностей для работы над большими моделями
4. Единое регулирование ИИ в Европе
• Принятие единого «Акта об ИИ» (AI Act) для всех 27 стран ЕС.
• Унифицированные правила АИ-безопасности и доверия вместо разрозненных национальных законов
• Обещано снижение бюрократических барьеров (ака дерегуляция, ура! Это про что я открытое письмо подписывал летом)
5. Объявлены масштабные инвестиционные программы
• Инициатива European AI Champions Initiative обеспечивает 150 млрд евро
• Программа InvestAI добавляет ещё 50 млрд.
• Итого: 200 млрд евро на развитие «доверенного ИИ» с упором на промышленную и критически важную инфраструктуру
6. Поддержка глобального сотрудничества
• Участие в запуске AI Foundation и расширение доступа к ИИ для развивающихся стран («Глобального Юга»)
• Цель – сделать ИИ доступным и полезным для всех
ИИ-гонка идет полным ходом
Please open Telegram to view this post
VIEW IN TELEGRAM
European Commission - European Commission
Speech by President von der Leyen at the Artificial Intelligence Action Summit
“Check against delivery”
Merci Monsieur le Président, cher Emmanuel,
Presidents,
Your Serene Highness,
Prime Ministers,
Excellencies,
Ladies and gentlemen,
This is the third Summit on AI safety in jus
Merci Monsieur le Président, cher Emmanuel,
Presidents,
Your Serene Highness,
Prime Ministers,
Excellencies,
Ladies and gentlemen,
This is the third Summit on AI safety in jus
Прогресс по VLM
В то время как LLM бенчи насыщаются довольно быстро, прогресс по VLM, которые требует мультимодального ризонинга (то есть нужно понимать что-то по картинке) идет не так бодро.
На графике приведен бенчмарк MMMU (Massive Multi-Discipline Multimodal Understanding and Reasoning Benchmark) — это тест для оценки знаний и логического мышления на уровне младших курсов бакалавриата в шести ключевых дисциплинах. Он проверяет, насколько хорошо система понимает и анализирует информацию из разных областей, используя текст, изображения и другие форматы данных (таблицы, например). Тест измеряет не просто запоминание фактов, а способность делать выводы и решать сложные задачи.
Китайцы и тут хорошо колбасят в опенсорс! Из открытых моделей, на этом бенче в лидерах сейчас как раз китайцы: InternVL2.5-78B (ее на графике нет) и QVQ-72B-Preview / Qwen2.5-VL-72B (этой тоже на графике нет).
@ai_newz
В то время как LLM бенчи насыщаются довольно быстро, прогресс по VLM, которые требует мультимодального ризонинга (то есть нужно понимать что-то по картинке) идет не так бодро.
На графике приведен бенчмарк MMMU (Massive Multi-Discipline Multimodal Understanding and Reasoning Benchmark) — это тест для оценки знаний и логического мышления на уровне младших курсов бакалавриата в шести ключевых дисциплинах. Он проверяет, насколько хорошо система понимает и анализирует информацию из разных областей, используя текст, изображения и другие форматы данных (таблицы, например). Тест измеряет не просто запоминание фактов, а способность делать выводы и решать сложные задачи.
Китайцы и тут хорошо колбасят в опенсорс! Из открытых моделей, на этом бенче в лидерах сейчас как раз китайцы: InternVL2.5-78B (ее на графике нет) и QVQ-72B-Preview / Qwen2.5-VL-72B (этой тоже на графике нет).
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Бесплатный Deep Research от Perplexity
Без подписки дают 5 запросов в день, подписчикам - 500 запросов в день. На Humanity's Last Exam, Deep Research от Perplexity набирает 21,1%. Это хуже результатов OpenAI, но в разы лучше всех остальных конкурентов.
Хороший повод для OpenAI дать доступ к Deep Research подписчикам Plus.
perplexity.ai
@ai_newz
Без подписки дают 5 запросов в день, подписчикам - 500 запросов в день. На Humanity's Last Exam, Deep Research от Perplexity набирает 21,1%. Это хуже результатов OpenAI, но в разы лучше всех остальных конкурентов.
Хороший повод для OpenAI дать доступ к Deep Research подписчикам Plus.
perplexity.ai
@ai_newz
Grok 3 релизнется во вторник утром
По словам Маска, это будет "самый умный ИИ на планете". Изначально модель обещали в декабре, но, похоже, случилась o3 и таймлайны немного сдвинулись.
Претрейн закончился полтора месяца назад, с тех пор модель тюнили. Похоже, это время ушло на reasoning тюн - в отдельной вебапке Grok уже находили интерфейс для рассуждений модели.
Если у xAI и правда выйдет перегнать ещё не релизнутую o3, то OpenAI придётся заметно пошевелиться. А может и Anthropic, наконец-то, релизнет свою reasoning модель, которая, по слухам, тоже должна обгонять o3.
А xAI уже ищет новый раунд финансирования - речь идёт о 10 миллиардах при оценке в 75. Нужно расширять Colossus, миллион GPU сами себя не установят (по крайней мере пока что).
@ai_newz
По словам Маска, это будет "самый умный ИИ на планете". Изначально модель обещали в декабре, но, похоже, случилась o3 и таймлайны немного сдвинулись.
Претрейн закончился полтора месяца назад, с тех пор модель тюнили. Похоже, это время ушло на reasoning тюн - в отдельной вебапке Grok уже находили интерфейс для рассуждений модели.
Если у xAI и правда выйдет перегнать ещё не релизнутую o3, то OpenAI придётся заметно пошевелиться. А может и Anthropic, наконец-то, релизнет свою reasoning модель, которая, по слухам, тоже должна обгонять o3.
А xAI уже ищет новый раунд финансирования - речь идёт о 10 миллиардах при оценке в 75. Нужно расширять Colossus, миллион GPU сами себя не установят (по крайней мере пока что).
@ai_newz
Нейродайджест за неделю (#56)
Finance
- Ответ Stargate — французы вложат 109 миллиардов евро в AI. Mistral питаются от счастья.
- Лучше не злить Маска — бифф с OpenAI продолжается. Илон предложил почти 100 миллиардов долларов за выкуп OpenAI у нонпрофита, чтобы помешать превращению OpenAI в коммерческую организацию.
Занимательные графики
- Прогресс LLM — клёвый график, где видно, как двигался SOTA-перформанс на разных бенчах со временем.
- Прогресс VLM — они растут не так быстро, как LLM-ки.
LLM
- Бесплатный Deep Research — Perplexity утерли нос OpenAI со своими 5 запросами в день. Конечно, он не лучше оригинала, но отстаёт не так сильно.
- В o1 и o3-mini теперь поддерживается загрузка документов и картинок. Лимиты o3-mini-high повысили до 50 запросов в день для Plus подписчиков. А ещё OpenAI выкатили новую версию 4o.
- Grok 3 — Маск обещает побить OpenAI o3. Хотелось бы верить, но верится с трудом. Но пощупать будет крайне интересно.
Другое
- Первый собственный чип OpenAI — уже в этом году. Пока что он нужен в основном для торгов с Nvidia, но направление очень перспективное.
> Читать дайджест #55
#дайджест
@ai_newz
Finance
- Ответ Stargate — французы вложат 109 миллиардов евро в AI. Mistral питаются от счастья.
- Лучше не злить Маска — бифф с OpenAI продолжается. Илон предложил почти 100 миллиардов долларов за выкуп OpenAI у нонпрофита, чтобы помешать превращению OpenAI в коммерческую организацию.
Занимательные графики
- Прогресс LLM — клёвый график, где видно, как двигался SOTA-перформанс на разных бенчах со временем.
- Прогресс VLM — они растут не так быстро, как LLM-ки.
LLM
- Бесплатный Deep Research — Perplexity утерли нос OpenAI со своими 5 запросами в день. Конечно, он не лучше оригинала, но отстаёт не так сильно.
- В o1 и o3-mini теперь поддерживается загрузка документов и картинок. Лимиты o3-mini-high повысили до 50 запросов в день для Plus подписчиков. А ещё OpenAI выкатили новую версию 4o.
- Grok 3 — Маск обещает побить OpenAI o3. Хотелось бы верить, но верится с трудом. Но пощупать будет крайне интересно.
Другое
- Первый собственный чип OpenAI — уже в этом году. Пока что он нужен в основном для торгов с Nvidia, но направление очень перспективное.
> Читать дайджест #55
#дайджест
@ai_newz
Сегодня, в 18:00 CET (через 6.5 часов) будет онлайн-лекция от моего коллеги Робина Ромбаха, создателя SD и Flux. Ниснер пригласил его сделать доклад у себя в лабе.
Кажется, это будет первый публичный доклад про Flux от авторов, ведь тех-репорта до сих пор нет.
Смотрим, думаю будет интересно!
YouTube стрим
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Кто не знает, я живу в Швейцарии, и у нас тут неплохие новости ☕️ (кроме открытия офисов ТикТока и OpenAI) – пару дней назад Швейцария решила не принимать закон похожий по строгости на Европейский AI Act.
@ai_newz
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Anastasia.ai – Tech Entrepreneur in🇨🇭
Про Швейцарию и AI 🇨🇭🦾 - часть 2
В Цюрихе давно уже есть офисы БигТеха такие как Гугл, Мета, Nvidia и прочие - но не давно присоединились ещё Anthropic, OpenAI и TikTok. Стоит конечно ещё упомянуть сильные рисерч лабы в академии связанные с ETH, университетом…
В Цюрихе давно уже есть офисы БигТеха такие как Гугл, Мета, Nvidia и прочие - но не давно присоединились ещё Anthropic, OpenAI и TikTok. Стоит конечно ещё упомянуть сильные рисерч лабы в академии связанные с ETH, университетом…
Grok 3 вышел
Модель уже доступна подписчикам X Premium+ (цена подписки на радостях подскочила почти в два раза, но я то-брал еще год назад;)). Ещё обещают специальную подписку SuperGrok - без фич для твиттера, по утечкам, она будет стоит 30 долларов в месяц и 300 в год, но похоже xAI тут ещё не решили. Сейчас стабильно доступна только обычная чат модель через твиттер, чат модель Grok 3 через grok.com доступна не всем пользователям, как и reasoner.
По бенчам чат модель обгоняет другие чат модели, но отстаёт от современных reasoner, а Grok 3 Mini Reasoning отстаёт только от o3 (взял из твиттера график с добавленными заявленными результатами o3). Но бенчей они показали очень мало, непонятно как Grok 3 себя покажет с большим количеством бенчей и на бенчах посложнее, вроде Frontier Math и Humanity's Last Exam.
Заметьте, что Grok 3 Reasoning отстаёт от Grok 3 Mini Reasoning, по словам xAI это из-за того что Mini модель тренировали значительно дольше. Стоит ожидать значительный рост бенчей по мере дальнейшей тренировки Grok 3.
Из новых фич - Deep Search, как конкурент Deep Research от других провайдеров. А ещё обещают нативную поддержку голоса через пару недель.
Релиз крайне сырой: нету ни блогпоста, ни API, reasoner непонятно как и когда выкатят. Такое ощущение что xAI спешили впереди какого-то другого релиза. Но всё ещё, те немногие, что получили доступ к полноценной Reasoner модели, впечатлены.
@ai_newz
Модель уже доступна подписчикам X Premium+ (цена подписки на радостях подскочила почти в два раза, но я то-брал еще год назад;)). Ещё обещают специальную подписку SuperGrok - без фич для твиттера, по утечкам, она будет стоит 30 долларов в месяц и 300 в год, но похоже xAI тут ещё не решили. Сейчас стабильно доступна только обычная чат модель через твиттер, чат модель Grok 3 через grok.com доступна не всем пользователям, как и reasoner.
По бенчам чат модель обгоняет другие чат модели, но отстаёт от современных reasoner, а Grok 3 Mini Reasoning отстаёт только от o3 (взял из твиттера график с добавленными заявленными результатами o3). Но бенчей они показали очень мало, непонятно как Grok 3 себя покажет с большим количеством бенчей и на бенчах посложнее, вроде Frontier Math и Humanity's Last Exam.
Заметьте, что Grok 3 Reasoning отстаёт от Grok 3 Mini Reasoning, по словам xAI это из-за того что Mini модель тренировали значительно дольше. Стоит ожидать значительный рост бенчей по мере дальнейшей тренировки Grok 3.
Из новых фич - Deep Search, как конкурент Deep Research от других провайдеров. А ещё обещают нативную поддержку голоса через пару недель.
Релиз крайне сырой: нету ни блогпоста, ни API, reasoner непонятно как и когда выкатят. Такое ощущение что xAI спешили впереди какого-то другого релиза. Но всё ещё, те немногие, что получили доступ к полноценной Reasoner модели, впечатлены.
@ai_newz
Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти.
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций.
Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги.
https://huggingface.co/spaces/nanotron/ultrascale-playbook
@ai_newz
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти.
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций.
Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги.
https://huggingface.co/spaces/nanotron/ultrascale-playbook
@ai_newz
Media is too big
VIEW IN TELEGRAM
Helix - локальный AI на роботе
Из-за этой модели Figure разорвала сделку с OpenAI, заявив что им удалось совершить прорыв. Все действия роботов на видео - результат работы модельки, работающей полностью на роботе. Модель управляет верхней половиной тела, позволяет двум роботам работать вместе и поднимать любые мелкие предметы.
Состоит Helix из двух компонентов - отвечающей за планирование System 2, основанная на неназванной опенсорсной 7B VLM и работающая на скорости 7-9 Hz. Исполняет планы System 1 - encoder-decoder на 80 миллионов параметров, работающая на скорости в 200 Hz, что позволяет точнее двигаться и быстрее реагировать. System 1 и System 2 работают на отдельных GPU, чтобы не мешать друг другу.
Натренировали это всего на 500 часах данных, что доступно множеству стартапов. Это крайне ранняя стадия и нас ждёт очень быстрое масштабирование.
Блогпост
@ai_newz
Из-за этой модели Figure разорвала сделку с OpenAI, заявив что им удалось совершить прорыв. Все действия роботов на видео - результат работы модельки, работающей полностью на роботе. Модель управляет верхней половиной тела, позволяет двум роботам работать вместе и поднимать любые мелкие предметы.
Состоит Helix из двух компонентов - отвечающей за планирование System 2, основанная на неназванной опенсорсной 7B VLM и работающая на скорости 7-9 Hz. Исполняет планы System 1 - encoder-decoder на 80 миллионов параметров, работающая на скорости в 200 Hz, что позволяет точнее двигаться и быстрее реагировать. System 1 и System 2 работают на отдельных GPU, чтобы не мешать друг другу.
Натренировали это всего на 500 часах данных, что доступно множеству стартапов. Это крайне ранняя стадия и нас ждёт очень быстрое масштабирование.
Блогпост
@ai_newz
Grok 3 (пока что) бесплатен
xAI открыли доступ всем желающим, "пока сервера не расплавятся". А ещё наконец-то опубликовали блогпост с более детальными бенчами - стало понятно, что голубые полосы обозначают консенсус 64 прогонов одной и той же задачи.
Реально доступный Grok 3 Beta Thinking отстаёт от o3-mini-high по бенчам, но она, в свою очередь, отстаёт от, пока не релизнутой, Grok 3 Mini Beta Thinking. Но тренировка Grok 3 Thinking ещё не завершена и, в итоге, он должен тягаться с полноценной o3 по качеству. Тем не менее, нам нужны методы бенчмаркать test time compute получше.
Ещё из блогпоста мы узнали что у Grok 3 длина контекста - миллион токенов. Но в задеплоенном Grok 3, длина контекста всего 128к, по словам сотрудников xAI.
Блогпост
grok.com
@ai_newz
xAI открыли доступ всем желающим, "пока сервера не расплавятся". А ещё наконец-то опубликовали блогпост с более детальными бенчами - стало понятно, что голубые полосы обозначают консенсус 64 прогонов одной и той же задачи.
Реально доступный Grok 3 Beta Thinking отстаёт от o3-mini-high по бенчам, но она, в свою очередь, отстаёт от, пока не релизнутой, Grok 3 Mini Beta Thinking. Но тренировка Grok 3 Thinking ещё не завершена и, в итоге, он должен тягаться с полноценной o3 по качеству. Тем не менее, нам нужны методы бенчмаркать test time compute получше.
Ещё из блогпоста мы узнали что у Grok 3 длина контекста - миллион токенов. Но в задеплоенном Grok 3, длина контекста всего 128к, по словам сотрудников xAI.
Блогпост
grok.com
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM