Адобченко обещает заопенсорсить свою видео-модель.

Вышла довольно подробная статья про видео-модель от Адобе, она немного гиковатая, но там есть некоторое количество деталей, любопытных простым смертным.

Создание одного кадра требует от модели обработки всей последовательности, включая будущее. We address this limitation by adapting a pretrained bidirectional diffusion transformer to a causal transformer that generates frames on-the-fly (сорри, это не перевести, не сломав глаза). Чтобы еще больше сократить время ожидания, мы расширяем дистилляцию согласования распределения (DMD) на видео, сводя 50-шаговую модель диффузии к 4-шаговому генератору.

Такой подход эффективно позволяет синтезировать видео большой длительности, несмотря на обучение на коротких клипах. Наша модель поддерживает быструю потоковую генерацию видео высокого качества со скоростью 9.4 FPS(!!) на одном GPU благодаря KV-кэшированию. Наш подход также позволяет осуществлять потоковую трансляцию video-to-video, image-to-video, and dynamic prompting.

В будущем мы выпустим код на основе модели с открытым исходным кодом.

Поглядите примеры на сайте - часть из них светилась в рекламе Firefly Video от Адобченко. Но в статье нет НИ слова про Firefly.

Очень симпатичные примеры image2video.

Неужели зарелизят код?

https://causvid.github.io/

@cgevent