ByteDance (создатели/владельцы TikTok) продолжают удивлять! Свежий пейпер про OmniHuman-1 демонстрирует очередной взрыв мозга в генерации видео с говорящими людьми.

Главная тема - это "омни-кондишн" тренировка, которая позволяет модели учиться сразу на разных типах данных. Проще говоря, они научились использовать даже те видео, которые раньше приходилось выбрасывать из-за шума или плохой синхронизации губ.

В результате получилась универсальная модель, которая:
- Умеет работать с любыми пропорциями кадра
- Точно передает движения губ и жесты
- Сохраняет стиль оригинального изображения
- Справляется даже с мультяшными персонажами

Самое поразительное - это объем данных. Для тренировки использовали 18.7K часов видео, из которых только 13% подходили под строгие критерии качества. Но благодаря новому подходу, модель смогла научиться даже на "плохих" примерах.

А ещё она умеет анимировать не только лица, но и полноценные сцены с объектами - например, музыкант с гитарой или человек с бокалом вина.

Результаты выглядят роскошно - в сравнительных тестах OmniHuman обходит существующие решения по всем метрикам. Правда, пока это только исследование, использовать его никак нельзя, но учитывая, что за ним стоит ByteDance - ждем появления этих технологий в их продуктах. (Похоже скоро криэйтеры будут не нужны совсем)

Сергей Булаев AI 🤖 - об AI и не только