Psy Eyes

11:25

Media is too big

VIEW IN TELEGRAM

А вот это уже серьёзно!

NUWA XL это мультимодальная генеративная модель для генерации длинных видео с хорошим качеством (1024x1024) за счет распараллеливания диффузией. Вы пишете промты к происходящему в сценах сценария, остальное нейронка делает сама. Сначала глобальной диффузией генерируются ключевые кадры для всего хронометража, а дальше локальной диффузией недостающие кадры в промежутках. На тестах генерация 1024 кадров заняла всего за 26 секунд вместо ~8 минут обычным рендером (меньше на 94%). При этом тренировать модель можно не на коротких видео, а на видосах длинной до 3376 фреймов (140 сек при 24 к/с), чтобы исключить пробелы на стадии трени и генерить все сегменты параллельно.

NUWA Infinity такая же модель, но для генерации высококачественных изображений и видео, используя на входе текст, картинку или видос. Подходит для аутпейтинга, анимации, text-2-image. Хорошо получаются панорамы, вплоть до 360°. В примере взяли на вход картину "Along the River During the Qingming Festival", сгенерировали на её основе очень длинное полотно с высокой детализацией, и через панорамирование + наложение музыки получили почти готовый фрагмент для анимации. Также можно оживлять одиночные кадры вроде моря или костра.

Панорамы, как и анимация, могут сгодиться для фона или композа в кадре. На крупный план пока генерациям рано, но всё это уже довольно близко к уровню продакшена.

Подход к написанию сценариев в ближайшее время может измениться. Описания между диалогами приблизятся к промтам, и будет больше упор на визуализацию, чем на нарратив ("Barney is saying something to Wilma in the room"). Нейронка будет считывать глобальный контекст (или он ей будет задаваться) и генерить видеоряд с предложением вариантов развития событий. Режиссёр выбирает варик и может контролировать происходящее в кадре промтом, залинкованным Cine Tracer, или другими инструментами. Если изменения затрагивают другие сцены, они перегенерятся и детали также можно править.

Сайт
Бумага NUWA XL
Бумага NUWA Infinity
Github (код Microsoft)

www.group-telegram.com/tw/Psy_Eyes.com/535

975 viewsAndrey Bezryadin, edited  Mar 24, 2023 at 13:11

А вот это уже серьёзно!

NUWA XL это мультимодальная генеративная модель для генерации длинных видео с хорошим качеством (1024x1024) за счет распараллеливания диффузией. Вы пишете промты к происходящему в сценах сценария, остальное нейронка делает сама. Сначала глобальной диффузией генерируются ключевые кадры для всего хронометража, а дальше локальной диффузией недостающие кадры в промежутках. На тестах генерация 1024 кадров заняла всего за 26 секунд вместо ~8 минут обычным рендером (меньше на 94%). При этом тренировать модель можно не на коротких видео, а на видосах длинной до 3376 фреймов (140 сек при 24 к/с), чтобы исключить пробелы на стадии трени и генерить все сегменты параллельно.

NUWA Infinity такая же модель, но для генерации высококачественных изображений и видео, используя на входе текст, картинку или видос. Подходит для аутпейтинга, анимации, text-2-image. Хорошо получаются панорамы, вплоть до 360°. В примере взяли на вход картину "Along the River During the Qingming Festival", сгенерировали на её основе очень длинное полотно с высокой детализацией, и через панорамирование + наложение музыки получили почти готовый фрагмент для анимации. Также можно оживлять одиночные кадры вроде моря или костра.

Панорамы, как и анимация, могут сгодиться для фона или композа в кадре. На крупный план пока генерациям рано, но всё это уже довольно близко к уровню продакшена.

Подход к написанию сценариев в ближайшее время может измениться. Описания между диалогами приблизятся к промтам, и будет больше упор на визуализацию, чем на нарратив ("Barney is saying something to Wilma in the room"). Нейронка будет считывать глобальный контекст (или он ей будет задаваться) и генерить видеоряд с предложением вариантов развития событий. Режиссёр выбирает варик и может контролировать происходящее в кадре промтом, залинкованным Cine Tracer, или другими инструментами. Если изменения затрагивают другие сцены, они перегенерятся и детали также можно править.

Сайт
Бумага NUWA XL
Бумага NUWA Infinity
Github (код Microsoft)

BY Psy Eyes