Luma выпустили свой генератор видео Dream Machine и это просто отвал башки!

На вход может идти текст отдельно, либо в связке с картинкой. Чисто на основе промта вполне может получиться годный результат, но второй вариант предпочтительнее, ибо так у модели есть опорные кадры. Можно даже делать длинные видосы, если использовать скриншот из конца предыдущей генерации.

При включённой галочке Enhanced Promt модель сама понимает что на картинке и от вас требуется только описать действие. Если кажется, что генерация уводится не туда, попробуйте описать экшн детальнее. Либо снять галочку, но тогда надо будет описать и то, что на картинке и то, что должно произойти: чем больше подробностей о движении камеры, действии в сцене, и том как выглядят объекты + фон, тем лучше. Luma предоставили гайд как подойти к промту и генерации в целом.

На выходе получаются видео в относительно высоком разрешении, длиной 5 секунд и фреймрейтом 24 к/с. За пару дней до этого вышел китайский Kling, в котором тоже годное качество, но у Luma нет вейтлиста и результаты значительно лучше. Кипение минимальное, а текст/надписи держатся под любым углом и не превращаются в кашу. Чувствуется, что есть понимание пространства, физики объектов и освещения а-ля Sora. Картинка кинематографичная, с плавными движениями камеры и моушн блюром.

Для анимированных обложек, или коротких зацикленных рекламных видосов в соцсетях уже можно использовать с двух ног.

Потом подъедут крутилки для контроля кадра, а там глядишь и доживём до генерации в стиле NUWA с получением длинных видео, просто описывая ключевые моменты.

Надо ещё будет поиграться со значениями фокуса, диафрагмы, итд, а может и даже с характеристиками из мира 3D, коль ноги у модели именно оттуда растут.

Я ещё в прошлом году заметил, что среди text-2-video моделей начался движ в сторону трёхмерного пространства для генерации объектов с учётом окружения и разнесения их на слои. Вполне возможно сегодняшние 3D стартапы (Polycam, Meshy, итд), особенно работающие со сплатами или нерфами, завтра будут генерить видео. Даже Midjourney тяготеют к генерации видосов и 3D.

На бесплатном акке 30 генераций в месяц, подписка от $30 за 180 генераций.

Го генерить котаны!

Dream Machine
Гайд от Luma