group-telegram.com/Psy_Eyes/2405
Last Update:
Дайджест:
📹 ВИДЕО + АРТ 🎨
Pika: добавили Turbo режим, позволяющий генерить видео в 3 раза быстрее, в 7 раз дешевле, и ,по заверениям, особой без потери качества. Также выпустили Pika V 2.1, генерящую видео в 1080p, высокой детализаций, контролем камеры и четким следованием промту. Ещё появилась апа для iOS.
Nvidia: выкатили генератор картинок SANA-1.5, который может выдавать 4096x4096 меньше, чем за 1 секунду на 16 ГБ VRAM ноуте. Релизу идёт 8-битный оптимизатор для экономии VRAM во время тренировки и масштабирования с 1.6B до 4.8B плюс 4-битный движок для инференса на 8 ГБ VRAM (демо). Также чуть ранее они выпустили генератор видео Cosmos, который выдаёт 1280x704 длиной в 121 кадр за 10 мин на 4090.
Tripo: в версии V2.5 улучшена геометрия мешей (особенно с острыми углами). Улучшенный PBR рендеринг.
ACE++: фреймворк для получения стабильных персонажей и объектов при их генерации на картинках.
HeyGen: добавили к контроль камеры к видео с аватарами. Даёте описание желаемого движения и вперед.
Sa2VA: выделение объектов на видео промтом. Работает на связке SAM2 и LLaVA.
Sketch-to-3D: делаем набросок от руки и получаем 3D объект через Trellis.
ZLUDA: CUDA для видюх AMD. Появились ночные релизы.
Hailuo: релизнули генератор видео T2V-01-Director с фокусом на контроле камеры промтом, её кинематографичных движениях и переходах. Помимо этого внедрили генерацию стабильных персонажей по реф картинке в модели S2V-01.
Kling: Добавили в V 1.6 генерацию видео по начальному и конечному кадру, мемные эффекты к видео как в Pika, а также фичу Elements, которая берёт элементы с нескольких реф картинок и делает, например, стабильного персонажа в нужном сеттинге. Для генерации картинок в Kolors завезли работу по рефу. Ещё Kling обзавёлся мобильной апой (iOS или Android). Что занятно, похожие мемные эффекты и комбинирование элементов недавно запилили у себя Pika.
DiffSplat: шустрый генератор 3D на основе сплатов и t2i диффузионных моделей.
MangaNinja: колоризация манги.
Frame Painter: интерактивное редактирование изображения скетчем на основе видео диффузионных приоров.
Luma: теперь можно апскейлить сгенерированные видео до 4К, и выпустили API для Ray 2.
HipScript: онлайн компилятор CUDA и HIP кода для WebGPU.
Comfy: завели реестр кастомных нод, упростили установку десктопного приложения, добавили поддержку 5090... которые так пока никто пощупать и не может.
Кстати воркфлоу теперь можно конвертировать в интерфейс на Gradio и публиковать на Хаггинге.
Netflix: выпустили модель для анимации картинок, через перетаскивание выделенных объектов на них.
Krea: объекты на реф картинках теперь можно конвертировать в 3D и крутить/перемещать/совмещать их в сцене до нужного результата. Если целевой объект, стиль, или продукт нужно сгенерить, то как раз завезли реалтайм тренировку — можно тренить, скажем персонажа, и крутить его в сцене. Или воспользоваться интегрированными стабильными персонажами Hailuo.
Runway: выпустили генератор картинок Frames. На этой странице можно посмотреть примеры генераций картинок во Frames и промты к ним. Плюс релизнули апскейл до 4k.
Midjourney: теперь можно смешивать несколько мудборд кодов, а также смешиват их со sref кодами.
Sony: исследование по тренировке микробюджетных генераторов картинок — Microdiffusion.
Tencent: выпустили Хуньянь 3D V2, который делает 3D меш по картинке на уровне Trellis. Лучше всего работает если закидывать объект под углом со считываемым освещением. Нужно минимум 8 ГБ VRAM. Сообщество уже наваяло аддон для блендора, портативную сборку на Windows, поддержку в комфи от Kijai, вписали модель в ComfyUI-3D-Pack.
Для видеогенератора Хуньянь GPU Poor версия (от 12 ГБ VRAM) обзавелась поддержкой лор и TeaCache для ускоренной генерации с меньшим количеством артефактов. В комфи от Kijai добавился улучшитель Enhance-A-Video, генерация в IP2V режиме (vlm вытаскивает описание реф картинки и скармливает видеогенератору).
BY Psy Eyes
Share with your friend now:
group-telegram.com/Psy_Eyes/2405