Psy Eyes

This media is not supported in your browser

VIEW IN TELEGRAM

RhymesAI: полку опенсорсных генераторов видео пополнение — Allegro.

Что тут у нас:
* Видео 720p в 15 к/с. Пока только text-2-video, вроде с хорошим следованием промту. Можно интерполировать до 30 к/с через EMA-VFI. Если что, с помощью Flowframes можно и больше.
* Нужно 9,3 ГБ VRAM ибо модель маленькая, но эффективная (175M VideoVAE // 2,8B DiT). Остальное пойдёт в RAM. Если вырубить CPU offload, то будет жрать 27,5 ГБ VRAM.
* Ухватывает контекст 88 кадров (до 6 сек), что может пригодиться для продления видео как у Adobe, или редактирования как в Movie Gen
* Ограничения по контенту минимальные
* Код и веса открыты
* Лицензия Apache 2

Генерируемые видео по качеству и консистентности лучше, чем у CogVideoX и других опенсорных альтернатив. Я бы даже сказал, если оно реально как на примерах, то может стать щелчком по лбу и некоторым платным моделям. Но сколько уходит на 1 видео и насколько контролируем в реальности результат неясно. Надо тестить.

Дальше планируют: image-2-video, мульти-GPU генерацию, контроль движения, и создание видео на основе раскадровок. Если последнее будет как когда-то было обещано в NUWA — будет ништяк.

Анонс
Гитхаб
Хаггинг

www.group-telegram.com/sg/Psy_Eyes.com/2117

8.0K viewsedited  Oct 22, 2024 at 13:09

RhymesAI: полку опенсорсных генераторов видео пополнение — Allegro.

Что тут у нас:
* Видео 720p в 15 к/с. Пока только text-2-video, вроде с хорошим следованием промту. Можно интерполировать до 30 к/с через EMA-VFI. Если что, с помощью Flowframes можно и больше.
* Нужно 9,3 ГБ VRAM ибо модель маленькая, но эффективная (175M VideoVAE // 2,8B DiT). Остальное пойдёт в RAM. Если вырубить CPU offload, то будет жрать 27,5 ГБ VRAM.
* Ухватывает контекст 88 кадров (до 6 сек), что может пригодиться для продления видео как у Adobe, или редактирования как в Movie Gen
* Ограничения по контенту минимальные
* Код и веса открыты
* Лицензия Apache 2

Генерируемые видео по качеству и консистентности лучше, чем у CogVideoX и других опенсорных альтернатив. Я бы даже сказал, если оно реально как на примерах, то может стать щелчком по лбу и некоторым платным моделям. Но сколько уходит на 1 видео и насколько контролируем в реальности результат неясно. Надо тестить.

Дальше планируют: image-2-video, мульти-GPU генерацию, контроль движения, и создание видео на основе раскадровок. Если последнее будет как когда-то было обещано в NUWA — будет ништяк.

Анонс
Гитхаб
Хаггинг

BY Psy Eyes