Luma Labs представили функцию Modify Video

Что такое Modify Video?

Luma Labs анонсировала прорывную функцию Modify Video в своей платформе Dream Machine, которая позволяет переосмыслить окружение, освещение и текстуры в видео, сохраняя при этом целостность движений, камеры и персонажей.

🔘Ключевые возможности:

Захват движений и управление персонажами
- Извлечение движений всего тела, мимики и синхронизации губ из любого видеоклипа
- Применение движений к новым персонажам, объектам или траекториям камеры
- Перенос актерской игры на CG-существ

Изменение стиля и окружения
- Превращение гаража в космический корабль
- Смена дня на ночь
- Трансформация низкополигональных кадров в кинематографический реализм

Точечное редактирование элементов
- Изменение отдельных элементов: одежды, лиц, реквизита, неба
- Старение персонажа в кадре
- Изменение цвета одежды для непрерывности сюжета
- Добавление объектов без зеленого экрана

🔘Три режима трансформации:

1. Adhere - точное следование оригиналу с упором на ретекстурирование
2. Flex - баланс между креативностью и верностью исходнику
3. Reimagine - полная творческая свобода с возможностью превращения людей в монстров и фантастических существ

🔘Преимущества перед конкурентами

Согласно слепому тестированию с внешними экспертами, Luma Modify Video превосходит Runway V2V по ключевым критериям:
✅ Лучшее сохранение движений
✅ Превосходная лицевая анимация
✅ Высокая временная согласованность
✅ Более плавный и связный результат

🔘Как начать работу

Функция Modify Video уже доступна в Dream Machine: Ray 2 с максимальной длительностью 10 секунд.

Простой процесс:
1. Загрузите видео
2. Выберите пресет
3. Стилизуйте первый кадр (опционально)
4. Получите результат

🔗 Сайт: lumalabs.ai

Новая AI-модель WAN2.1_14B_FusionX

Что это такое?

WAN2.1_14B_FusionX — это мощная модель для генерации видео из текста, созданная путем слияния WAN 2.1 с несколькими исследовательскими компонентами для достижения кинематографического качества движения, детализации и скорости.

✨ Ключевые особенности

🔘Производительность
- Сверхбыстрая генерация: всего 6-8 шагов для высокого качества
- До 50% быстрее стандартных моделей
- RTX 5090: ~138 секунд на видео (1024x576, 81 кадр)

🔘Качество
- Кинематографическое движение благодаря интеграции CausVid
- Улучшенная детализация через AccVideo
- Плавность от MoviiGen1.1
- Текстуры и четкость от кастомных LoRA

⚙️ Технические возможности

🔘Поддерживаемые форматы:
- Text-to-Video (текст → видео)
- Image-to-Video (изображение → видео)
- Phantom Mode (специальный режим)
- VACE интеграция

🔘Оптимизация:
- Совместимость с ComfyUI
- Поддержка SageAttn для дополнительного ускорения на 30%
- Доступны GGUF варианты для разных конфигураций

Что внутри модели?
- CausVid — каузальное моделирование движения
- AccVideo — улучшенное временное выравнивание
- MoviiGen1.1 — кинематографическая плавность
- MPS Reward LoRA — настройка движения и деталей
- Кастомные LoRA — для текстур и четкости

🔧 Настройки для лучшего качества

Text-to-Video:
- CGF: 1
- Shift: 1 для 1024x576, 2 для 1080x720
- Scheduler: uni_pc (рекомендуется)

Image-to-Video:
- CGF: 1
- Shift: 2
- Frame count: 121
- FPS: 24

📂 Ресурсы

- Основной репозиторий
- ComfyUI workflows
- Discord сообщество
- Примеры видео

⚖️ Лицензия

Модель распространяется под открытыми лицензиями Apache 2.0 / MIT, что позволяет использовать, модифицировать и распространять её для исследований, образования и личного использования.

От пробы до релиза - один миг! 👅

Да, вы можете сказать, что проблема в том, что я посты редко делаю, а не они быстро релизят,НО.... (вы правы)

Midjourney зарелизили свой видео аниматор, работает шикарно, я уже прямо много пооживлял, примеры по классике мои личные! 🔥

Из минусов пока создает только 480p, но я думаю, что все дело времени, главное, что работает на разные стили, генерит сразу 4 варианта и генерит быстро!

@AINikita