Krea: добавили к себе генерацию видео в Kling 1.6, Хуньянь, и 01-Live (Хайлуо). Также теперь к нему можно генерить и звук.

Бесплатным пользователям дали доступ к генерации видео.

Твит

Perfection

Дайджест:

📹 ВИДЕО + АРТ 🎨

Pika: добавили Turbo режим, позволяющий генерить видео в 3 раза быстрее, в 7 раз дешевле, и ,по заверениям, особой без потери качества. Также выпустили Pika V 2.1, генерящую видео в 1080p, высокой детализаций, контролем камеры и четким следованием промту. Ещё появилась апа для iOS.

Nvidia: выкатили генератор картинок SANA-1.5, который может выдавать 4096x4096 меньше, чем за 1 секунду на 16 ГБ VRAM ноуте. Релизу идёт 8-битный оптимизатор для экономии VRAM во время тренировки и масштабирования с 1.6B до 4.8B плюс 4-битный движок для инференса на 8 ГБ VRAM (демо). Также чуть ранее они выпустили генератор видео Cosmos, который выдаёт 1280x704 длиной в 121 кадр за 10 мин на 4090.

Tripo: в версии V2.5 улучшена геометрия мешей (особенно с острыми углами). Улучшенный PBR рендеринг.

ACE++: фреймворк для получения стабильных персонажей и объектов при их генерации на картинках.

HeyGen: добавили к контроль камеры к видео с аватарами. Даёте описание желаемого движения и вперед.

Sa2VA: выделение объектов на видео промтом. Работает на связке SAM2 и LLaVA.

Sketch-to-3D: делаем набросок от руки и получаем 3D объект через Trellis.

ZLUDA: CUDA для видюх AMD. Появились ночные релизы.

Hailuo: релизнули генератор видео T2V-01-Director с фокусом на контроле камеры промтом, её кинематографичных движениях и переходах. Помимо этого внедрили генерацию стабильных персонажей по реф картинке в модели S2V-01.

Kling: Добавили в V 1.6 генерацию видео по начальному и конечному кадру, мемные эффекты к видео как в Pika, а также фичу Elements, которая берёт элементы с нескольких реф картинок и делает, например, стабильного персонажа в нужном сеттинге. Для генерации картинок в Kolors завезли работу по рефу. Ещё Kling обзавёлся мобильной апой (iOS или Android). Что занятно, похожие мемные эффекты и комбинирование элементов недавно запилили у себя Pika.

DiffSplat: шустрый генератор 3D на основе сплатов и t2i диффузионных моделей.

MangaNinja: колоризация манги.

Frame Painter: интерактивное редактирование изображения скетчем на основе видео диффузионных приоров.

Luma: теперь можно апскейлить сгенерированные видео до 4К, и выпустили API для Ray 2.

HipScript: онлайн компилятор CUDA и HIP кода для WebGPU.

Comfy: завели реестр кастомных нод, упростили установку десктопного приложения, добавили поддержку 5090... которые так пока никто пощупать и не может.

Кстати воркфлоу теперь можно конвертировать в интерфейс на Gradio и публиковать на Хаггинге.

Netflix: выпустили модель для анимации картинок, через перетаскивание выделенных объектов на них.

Krea: объекты на реф картинках теперь можно конвертировать в 3D и крутить/перемещать/совмещать их в сцене до нужного результата. Если целевой объект, стиль, или продукт нужно сгенерить, то как раз завезли реалтайм тренировку — можно тренить, скажем персонажа, и крутить его в сцене. Или воспользоваться интегрированными стабильными персонажами Hailuo.

Runway: выпустили генератор картинок Frames. На этой странице можно посмотреть примеры генераций картинок во Frames и промты к ним. Плюс релизнули апскейл до 4k.

Midjourney: теперь можно смешивать несколько мудборд кодов, а также смешиват их со sref кодами.

Sony: исследование по тренировке микробюджетных генераторов картинок — Microdiffusion.

Tencent: выпустили Хуньянь 3D V2, который делает 3D меш по картинке на уровне Trellis. Лучше всего работает если закидывать объект под углом со считываемым освещением. Нужно минимум 8 ГБ VRAM. Сообщество уже наваяло аддон для блендора, портативную сборку на Windows, поддержку в комфи от Kijai, вписали модель в ComfyUI-3D-Pack.

Для видеогенератора Хуньянь GPU Poor версия (от 12 ГБ VRAM) обзавелась поддержкой лор и TeaCache для ускоренной генерации с меньшим количеством артефактов. В комфи от Kijai добавился улучшитель Enhance-A-Video, генерация в IP2V режиме (vlm вытаскивает описание реф картинки и скармливает видеогенератору).

DeepSeek: сделали модель Janus Pro 7B, которая может и генерить картинки (не убийца Flux конечно) и чатиться по загруженным.

Flex.1 Alpha: Ostris сделал версию Flux на основе шнель с лицензией Apache. 8B параметров, можно гонять на видюхе.

SVFR: фреймворк для восстановления лиц на видео. Есть колоризация, инпейтинг, BFR.

Phygital+: улучшения в генерации 3D по картинке, поддержка лор на Flux.

PAR: параллелизация генераций без изменения архитектуры и токенайзера.

FitDit: новая виртуальная примерочная. Есть комфи.

DiffuEraser: сегментируем объекты на видео и удаляем их с учётом фона через инпейнт.

Google: дают пощупать Imagen 3, нужен IP на США.

Alibaba: по-тихому выпустили свой генератор видео в чате с Qwen. Примеры генераций.

Создание векторной бд с данными о видео записях, чтобы потом быстро находить нужный видос по кадру. Похоже на Marengo, только с CLI + Comfy.

Video Depth Anything: получаем карту глубины видео.

Shuttle Jaguar: генератор картинок с фокусом на эстетичных кадрах.

Hallo: выпустили V 3 аниматора портретов и датасет на хаггинге.

🎸 ЗВУК 🎸

YuE: новый опенсорсный генератор музыки. Пока песочно и дизгармонично (не конкурент Udio или Suno), но лучше MusicGen и любой движ в эту сторону уже хорошо. В принципе для инструменталок или семплов может сгодиться. Лицензия на днях сменилась на Apache, что позволяет коммерческое использование.

Suno: V4 стала доступна всем. Плюс треки в своей библиотеке теперь можно группировать в рабочие пространства (Workspaces). И появился AI-соавтор музыки для детальной работы с лирикой.

Riffusion: представили генератор музыки FUZZ. Звучит годно (не только на поп/рэп) и есть инструменты для контроля аудио. Небольшая предыстория проекта.

MMaudio: генератор аудио, анализирующий беззвучное видео и выдающий походящий звук. Крутилки в наличии.

Style TTS 2: давний генератор речи и клонер голоса, для которого появился установщик в Pinokio. Ещё есть демка.

Hailuo: сделали модель для работы с голосом T2A-01. Есть клонирование, генератор речи (TTS), и изоляция голоса. Крутилки присутствуют. В наличии HD версия для результатов в высоком качестве, и Turbo.

Kokoro: маленький, шустрый, и неплохой генератор речи, который можно гонять дома, а генерации использовать в коммерческих целях (Apache 2). Русского нет, но можно научить. Можно смешивать голоса в студии.. Гитхаб

Pinokio к версии 3.6 так нормально проапгрейдили. Наконец-то есть домашняя страница с иконками AI-приложений. Также пофиксили много багов всплывавших при установке, перешли на UV для ускорения загрузки, и ещё много всего подкапотного.

Заставку можно менять, кстати.

Сайт
Скачать

Simulon: вышел в тираж! Я уже погонял и оно действительно как на демках. Ловите инвайт в бету TestFlight и заодно их дискорд.

Нужен айфон. Ради такого дела даже в гости сгонял (сам буду ждать на дройдех). Ставите на айфон TestFlight и через него устанавливаете приложение по инвайту выше.

Открываем приложение и там три секции:
* Home — лента рендеров других людей (не надо будет шерстить твиттер, уже хорошо)
* Create — сканирование сцен, расположение в них 3D ассетов, и рендеринг фото или видео.
* Assets — если у вас нет своих 3D объектов, их можно скачать из встроенной библиотеки или добавить в закладки, что удобно. Просматриваются удобно (у них свой вьюер сплатов), грузятся почти моментально. Свои ассеты (как анимированные, так и нет) можно закидывать через десктопный софт с их сайта. Есть гайд с требованиями к 3D объектам.

Чтобы сделать рендер, зходим в Create и создаём сцену. Выбираем как будем рендерить на серверах Simulon или на своём железе, где установлен десктопный софт Simulon. В первом случае можно использовать все ассеты из встроенной библиотеки приложения, а во втором только свои загруженные 3D объекты с лицензией. Выбираем снимаем в помещении или снаружи. Свет естественный или искусственный. Сканируем камерой пространство вокруг, заполняя шар (отличный UI/UX). Задаём поверхность для вписывания 3D ассетов, либо сканируя окружение, либо указывая напрямую.

Дальше начинается этап расположения 3D ассетов в сцене. Нажимаем на кнопку добавить и выбираем из нашей библиотеки до 4 объектов (расставляются последовательно). Размер и положение меняются пальцами. Для некоторых (вроде динозавров) есть выбор анимации.

На этом этапе ассеты ещё отображаются в предварительном виде, но уже отлично сидят в сцене и при максимально приближении к ним ты их словно физически ощущаешь, особенно когда делаешь масштаб посерьёзнее.

Обратите внимание на глаза велоцираптора, в них отражается квартира.

Потом можно срендерить либо фотки, либо видео. Нажимаете на кнопку съёмки и сцена отправляется на обработку. Очередь на рендеринг можно наблюдать в правом верхнем углу на иконке облака (локально вероятно также). Фотки обрабатываются довольно быстро, видео минут 5-10. На выходе готовая сцена с качественно просчитанным освещением.

Пока не ясно как открыть ту же сцену и изменить её. Мне приходилось делать всё заново. Но это всё мелочи, которые поправят. А по результату у нас на руках очень крутой продукт.

Пока всё бесплатно. Там есть баллы, которые тратятся на рендеринг и похоже зарабатываются за какую-то активность. Так что дерзаем! Закидывайте своё 3D из Хуньяня, Postshot, Tripo, итд и скидывайте в комменты, что получилось.

Сайт
Приложение
Гайд по загрузке своих 3D объектов
Дискорд

Blockadelabs: добавили 32-битную HDRI обработку 360° сцен для получения реалистичного освещения и улучшенного динамического диапазона 3D проектов. Файлы HDR и EXR генерируются из ваших скайбоксов.

Также теперь есть бесплатный семплпак ассетов, чтобы изучить новые возможности перед обновлением.

Сайт