LivePortrait: анимация изображений через референсное видео от KwaiVGI, связанных с разработчиками Kling.

Вместо диффузии здесь фокус на работе с ключевыми точками в кадре, что позволяет эффективно балансировать между вычислительными мощностями и контролем картинки.

Мимика хорошо переносится на персонажа, даже движения глаз прорабатываются. Причём работает с любым стилем целевого изображения с персонажем. На животных тоже переносится.

Можно задавать на сколько должны быть открыты рот или глаза.

На генерацию одного кадра уходит ~13 мс на 4090.

PS: AI создаёт рабочие места — аниматор известной персоны.

Сайт
Гитхаб
Колаб