Telegram Group & Telegram Channel
Media is too big
VIEW IN TELEGRAM
А вот это уже серьёзно!

NUWA XL это мультимодальная генеративная модель для генерации длинных видео с хорошим качеством (1024x1024) за счет распараллеливания диффузией. Вы пишете промты к происходящему в сценах сценария, остальное нейронка делает сама. Сначала глобальной диффузией генерируются ключевые кадры для всего хронометража, а дальше локальной диффузией недостающие кадры в промежутках. На тестах генерация 1024 кадров заняла всего за 26 секунд вместо ~8 минут обычным рендером (меньше на 94%). При этом тренировать модель можно не на коротких видео, а на видосах длинной до 3376 фреймов (140 сек при 24 к/с), чтобы исключить пробелы на стадии трени и генерить все сегменты параллельно.

NUWA Infinity такая же модель, но для генерации высококачественных изображений и видео, используя на входе текст, картинку или видос. Подходит для аутпейтинга, анимации, text-2-image. Хорошо получаются панорамы, вплоть до 360°. В примере взяли на вход картину "Along the River During the Qingming Festival", сгенерировали на её основе очень длинное полотно с высокой детализацией, и через панорамирование + наложение музыки получили почти готовый фрагмент для анимации. Также можно оживлять одиночные кадры вроде моря или костра.

Панорамы, как и анимация, могут сгодиться для фона или композа в кадре. На крупный план пока генерациям рано, но всё это уже довольно близко к уровню продакшена.

Подход к написанию сценариев в ближайшее время может измениться. Описания между диалогами приблизятся к промтам, и будет больше упор на визуализацию, чем на нарратив ("Barney is saying something to Wilma in the room"). Нейронка будет считывать глобальный контекст (или он ей будет задаваться) и генерить видеоряд с предложением вариантов развития событий. Режиссёр выбирает варик и может контролировать происходящее в кадре промтом, залинкованным Cine Tracer, или другими инструментами. Если изменения затрагивают другие сцены, они перегенерятся и детали также можно править.

Сайт
Бумага NUWA XL
Бумага NUWA Infinity
Github (код Microsoft)



group-telegram.com/Psy_Eyes/535
Create:
Last Update:

А вот это уже серьёзно!

NUWA XL это мультимодальная генеративная модель для генерации длинных видео с хорошим качеством (1024x1024) за счет распараллеливания диффузией. Вы пишете промты к происходящему в сценах сценария, остальное нейронка делает сама. Сначала глобальной диффузией генерируются ключевые кадры для всего хронометража, а дальше локальной диффузией недостающие кадры в промежутках. На тестах генерация 1024 кадров заняла всего за 26 секунд вместо ~8 минут обычным рендером (меньше на 94%). При этом тренировать модель можно не на коротких видео, а на видосах длинной до 3376 фреймов (140 сек при 24 к/с), чтобы исключить пробелы на стадии трени и генерить все сегменты параллельно.

NUWA Infinity такая же модель, но для генерации высококачественных изображений и видео, используя на входе текст, картинку или видос. Подходит для аутпейтинга, анимации, text-2-image. Хорошо получаются панорамы, вплоть до 360°. В примере взяли на вход картину "Along the River During the Qingming Festival", сгенерировали на её основе очень длинное полотно с высокой детализацией, и через панорамирование + наложение музыки получили почти готовый фрагмент для анимации. Также можно оживлять одиночные кадры вроде моря или костра.

Панорамы, как и анимация, могут сгодиться для фона или композа в кадре. На крупный план пока генерациям рано, но всё это уже довольно близко к уровню продакшена.

Подход к написанию сценариев в ближайшее время может измениться. Описания между диалогами приблизятся к промтам, и будет больше упор на визуализацию, чем на нарратив ("Barney is saying something to Wilma in the room"). Нейронка будет считывать глобальный контекст (или он ей будет задаваться) и генерить видеоряд с предложением вариантов развития событий. Режиссёр выбирает варик и может контролировать происходящее в кадре промтом, залинкованным Cine Tracer, или другими инструментами. Если изменения затрагивают другие сцены, они перегенерятся и детали также можно править.

Сайт
Бумага NUWA XL
Бумага NUWA Infinity
Github (код Microsoft)

BY Psy Eyes


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/Psy_Eyes/535

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon." After fleeing Russia, the brothers founded Telegram as a way to communicate outside the Kremlin's orbit. They now run it from Dubai, and Pavel Durov says it has more than 500 million monthly active users. Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp. For example, WhatsApp restricted the number of times a user could forward something, and developed automated systems that detect and flag objectionable content. However, the perpetrators of such frauds are now adopting new methods and technologies to defraud the investors.
from cn


Telegram Psy Eyes
FROM American