group-telegram.com/cgevent/11046
Last Update:
Помните нейробалеты, нейрогимнастики и прочую нейронепотребщину?
Тут вот Метачка бахнула интересную работу.
VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models
Нет, это не новый видео-генератор, как щас напишут в интернетике.
Это не модель, а фреймворк для улучшения видеомоделей, который объединяет представление внешнего вида объекта и его движение (в латентном пространстве). Что приводит к резкому росту качества генерации и согласованности именно движений объектов.
A framework for enhanced motion generation, seamlessly compatible with various models.
Тут вот про совместимость я не понял.
This is achieved through two complementary modifications: during training, we amend the objective to predict motion in addition to appearance, and during inference, we propose a guidance mechanism to leverage the learned motion prior for temporally coherent generations.
Вот тут масса видосов:
https://hila-chefer.github.io/videojam-paper.github.io/
А вот тут даже бумага уже вышла:
https://hila-chefer.github.io/videojam-paper.github.io/VideoJAM_arxiv.pdf
Сравнивают со всем, что шевелится (и, конечно, свой бенчмарк придумали по дороге). Ну побивают всех на свете, от Клинга до Соры(кто ее, бедную только не пинает теперь).
Ну меня один вопрос, а что нам с этого обломится?
Будет код или это пойдет в метачкин проприетарный видеогенератор MovieGen?
Скорее второе, ибо это работа интерна из MetaAI...
@cgevent
BY Метаверсище и ИИще
Share with your friend now:
group-telegram.com/cgevent/11046