Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface

Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей. Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации. Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти.

Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU (кому-то это может показаться не много, но это уже приличный скейл). Результаты поданы в виде куче графиков и интерактивных визуализаций.

Всего 100 страниц, рекомендую почитать. К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги.

https://huggingface.co/spaces/nanotron/ultrascale-playbook

@ai_newz

Helix - локальный AI на роботе

Из-за этой модели Figure разорвала сделку с OpenAI, заявив что им удалось совершить прорыв. Все действия роботов на видео - результат работы модельки, работающей полностью на роботе. Модель управляет верхней половиной тела, позволяет двум роботам работать вместе и поднимать любые мелкие предметы.

Состоит Helix из двух компонентов - отвечающей за планирование System 2, основанная на неназванной опенсорсной 7B VLM и работающая на скорости 7-9 Hz. Исполняет планы System 1 - encoder-decoder на 80 миллионов параметров, работающая на скорости в 200 Hz, что позволяет точнее двигаться и быстрее реагировать. System 1 и System 2 работают на отдельных GPU, чтобы не мешать друг другу.

Натренировали это всего на 500 часах данных, что доступно множеству стартапов. Это крайне ранняя стадия и нас ждёт очень быстрое масштабирование.

Блогпост

@ai_newz

Neo Gamma от 1X

Новый прототип куда шустрее августовской Beta. Интересно, когда они уйдут в продажу?

@ai_newz

У DeepSeek началась неделя опенсорса

Первый релиз — FlashMLA, Flash Attention для моделей DeepSeek. Дело в том, что модели DeepSeek используют свой отдельный тип аттеншна — Multi-head Latent Attention, которому нужно в разы меньше памяти на KV кэш, по сравнению с обычным Group Query Attention, что сильно удешевляет генерацию токенов.

Обратная сторона медали - существующие кастомные кернелы для инференса несовместимы с моделями DeepSeek, из-за чего приходится использовать более медленный торч. Быстрые кастомные кернелы для MLA означают более эффективный инференс у апи провайдеров, что часто перерастает в падение цен.

Обещают ещё четыре релиза на этой неделе, что именно релизнут - непонятно. Про всех них я напишу большой обзорный пост в конце недели.

Код

@ai_newz

Claude 3.7 Sonnet с Extended Thinking

Наконец-то и Claude научился рассуждать. В отличие от конкурентов, за всё отвечает одна модель — нету никакого отдельного reasoning тюна. Из плюсов такого подхода — количество размышлений регулируется через "бюджет на размышления", что позволяет точнее контроллировать цену/качество ответа.

Но главное преимущество этого подхода — с extended thinking из коробки работают ВСЕ фичи Claude, от поддержки PDF до Computer Use. У тех же OpenAI до сих пор куча странных ограничений по этому поводу.

Из приятных мелочей — Anthropic дают доступ к размышлениям модели, даже через API. Приятно что попытка OpenAI сделать чёрный ящик из reasoning моделей провалилась.

Новая версия уже доступна бесплатно для всех пользователей, но Extended Thinking доступен лишь платным подписчикам. Цена за API сохранилась - Anthropic решили не повторять историю с Haiku 3.5.

Не забудьте спросить 🍓 вопрос

claude.ai

@ai_newz

Похоже, Nokia решила урвать свой кусок AI-пирога

У производителя «неубиваемых мобил» теперь будет новый CEO — Джастин Хотард. Чел занимался дата-центрами и AI в Intel на должности executive vice president. Это сильный удар по Intel (и похоже, ещё один гвоздь в крышку гроба) и большой буст для Nokia.

Кстати, кто не знал, Nokia — финская компания. Сейчас они в основном занимаются трафиком, развивают 5G-сети, а недавно за 2,3 миллиарда баксов купили Infinera — чуваки занимаются оптоволоконными сетями.

А сейчас (видимо, после недавних новостей о вложении 100 миллиардов в AI-инфраструктуру) решили заняться нейросетями, что в целом хорошо сочетается с основным направлением компании.

Если вы IT-специалист и давно подумывали о переезде в страну с высоким уровнем жизни и технологическими перспективами, Финляндия сейчас — одно из лучших направлений!

Как переехать и найти работу?

Ответ есть у Nerdsbay — команды, которая помогает айтишникам адаптироваться в Финляндии. В их телеге вы найдете:

- Полную инфу о переезде и адаптации
- Советы по поиску работы в IT
- Разборы миграционных законов
- Легальные схемы релокации через программу EOR (Employee of Record)

Nerdsbay уже помогли десяткам специалистов осуществить мечту о жизни в Европе. Хотите стать следующим?

👉 Подпишитесь на канал и узнайте, как сделать первый шаг к жизни в стране технологий!

#промо

Видео Нейродайджест:
2025 год видео моделей и думающих LLM

- Veo 2 — Гугловский монстр вырвался на волю. Доступен на Freepik (Premium+ юзерам за тонну токенов) и на fal.ai ($1.25 за 5-секундный видосик). Цена кусается, пока только txt2img, но качество — космос.

- Luma Ray 2 — Теперь с img-2-video и video-2-sfx (саунд). Не дотягивает до Veo 2 по картинке, зато цена норм и фичи удобные: анлим за $95 для тех, кому надо.

- Pika’s Pikadditions & Pikaswaps — Чуваки идут путём мемов и VFX. Pikadditions пихает объекты с фоток в видео, Pikaswaps меняет банки ягуара на колу. 8 бесплатных генераций в месяц, но глюки — часть веселья: лица корежит, физика выходит из чата.

- Adobe Firefly Video — Чистый датасет, симпатичная картинка. Идеально для монтажа: продлить, расширить (да, есть расширение), накинуть VFX. Идеальный add-on для Премьера.

- Topaz Starlight — Диффузионный реставратор видео на 6B+ параметров. Вытягивает даже самые убитые кассеты. 10 сек бесплатно, 5 мин за бабки (немалые). Ждём концерт Queen в 4K.


И ещё 1000 и 1 опенсорс-проект — Lumina Video, Magic 1-For-1 и прочие. Статус “юзабельно” всё ближе, а кому-то уже и так норм.

> Читать Топ-10 постов 2024 года.

#дайджест
@ai_newz

Alibaba Wan 2.1 - новая SOTA опенсорс видео модель

Скорее всего это та самая загадочная модель, которая уже месяц доступна в Qwen Chat. На лидерборде VBench она занимает первое место, но там нет нескольких сильных конкурентов, вроде Veo 2 от гугла. Больше бенчей никаких нет, так что ждём полноценного техрепорта и тем временем вайбчекаем модель по генерациям). По ним, например, видно что модель очень хорошо генерирует текст, как на английском, так и на китайском, с чем другие модели справляются куда хуже.

Идёт в двух размерах — 1.3B и 14B и в нескольких разных вариантах для разных разрешений (поддерживаются 480p и 720p). Маленькой 1.3B модели нужно всего 8,2 гигабайта VRAM для запуска, а на генерацию видео уходит всего 4 минуты на 4090.

Большая моделька потребляет заметно больше — вплоть до 77 гигабайт. Но модели совсем не оптимизированные (замеры по памяти делали с fp32 моделями), так что есть много простора для оптимизации. Посмотрите на тот же Hunyuan, который при ~таком же количестве параметров неплохо запускается на консьюмерских видяхах. Умельцы за пару недель ещё оптимизируют эти модели, чтобы запускалось на каждом холодильнике.

Веса
Код
wanxai.com

@ai_newz

Доступ к Deep Research дают теперь всем подписчикам ChatGPT

Обычные подписчики получают 10 запросов в месяц, а Pro подписчикам повысили ограничение с 50 до 120 в месяц.

@ai_newz

Claude играет в покемонов на стриме

Добро пожаловать в будущее, теперь игры — бенчмарки для агентных моделей.

https://www.twitch.tv/claudeplayspokemon

@ai_newz