OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

Так, вы будете смеяться, но у нас новый и реально бомбоносный видеогенератор.

Тикток выкатил продолжение своих разработок Loopy, о котором я писал в сентябре в обзоре нейроаватаров https://www.group-telegram.com/fr/cgevent.com/9365

Два очень крутых момента:
1. Заточен на генерации людей, причем не только аватаров, но и различные виды портретной съемки (лицо крупным планом, портрет, половина тела, полное тело). Обрабатывает взаимодействие человека с объектами и сложные позы тела, а также адаптируется к различным стилям изображения.

2. И самое главное, на входе у него не только текст и картинка (как мы привыкли), но полный набор вот таких модальностей: текст, аудио(да, звук на вход для липсинка), картинка, другое видео, и внимание - позы. Типа контролНет, который забирается с других видео или картинок. Причем внутри есть развесовка этих разных входных сигналов.

В основе лежит видеогенератор SeaWeed (text-to-video), от Тиктока же, на которого навалили Omni-Conditions Training Strategy - обучение на разных входных сигналах.

OmniHuman model utilizes a causal 3DVAE to project videos at their native size into a latent space and employs flow matching as the training objective to learn the video denoising process. We employ a three-stage mixed condition post-training approach to progressively transform the diffusion model from a general text-to-video model to a multi-condition human video generation model. These stages sequentially introduce the driving modalities of text, audio, and pose according to their motion correlation strength, from weak to strong, and balance their training ratios.

Поглядите на сайт проекта, тьма видосов. Там и певцы, и на дуде игрецы, и махальщики руками.
Но кода нет. Код Loopy и CyberHost тоже не появился. Что наводит на нехорошие мысли.

Фарш тут: https://omnihuman-lab.github.io/

Спасибо Игорю за наводку.

@cgevent