⚡️ Китай наносит новый удар. 🔥
ByteDance выпустила OmniHuman-1, модель для создания реалистичных видео на основе одного изображения.
OmniHuman-1 - работает на основе диффузионного преобразования, которая генерирует высокореалистичные видео на основе изображения и аудио/видео.
В модели реализовано обучение с учетом всех условий окружения, что позволяет масштабировать генерацию, создавать связанные с движением и значительно повысить реалистичность жестов и движений тела.
В отличие от предыдущих моделей, ограниченных лицевой или статичной анимацией тела, OmniHuman-1 поддерживает различные соотношения сторон, сложные взаимодействия человека и объектов вокруг.
Она превосходит существующие методы по реалистичности, достигая высокой точности синхронизации губ, точности жестов и выразительности лица.
→ Модель построена на архитектуре DiT (Diffusion Transformer), поддерживает мультимодальность.
→ Превосходит конкурентов (например, Loopy, CyberHost, DiffTED) по точности синхронизации губ (5,255 против 4,814), FVD (15,906 против 16,134) и выразительности жестов, при этом поддерживая различные пропорции тела в одной модели.
https://huggingface.co/papers/2502.01061
@data_analysis_ml
ByteDance выпустила OmniHuman-1, модель для создания реалистичных видео на основе одного изображения.
OmniHuman-1 - работает на основе диффузионного преобразования, которая генерирует высокореалистичные видео на основе изображения и аудио/видео.
В модели реализовано обучение с учетом всех условий окружения, что позволяет масштабировать генерацию, создавать связанные с движением и значительно повысить реалистичность жестов и движений тела.
В отличие от предыдущих моделей, ограниченных лицевой или статичной анимацией тела, OmniHuman-1 поддерживает различные соотношения сторон, сложные взаимодействия человека и объектов вокруг.
Она превосходит существующие методы по реалистичности, достигая высокой точности синхронизации губ, точности жестов и выразительности лица.
→ Модель построена на архитектуре DiT (Diffusion Transformer), поддерживает мультимодальность.
→ Превосходит конкурентов (например, Loopy, CyberHost, DiffTED) по точности синхронизации губ (5,255 против 4,814), FVD (15,906 против 16,134) и выразительности жестов, при этом поддерживая различные пропорции тела в одной модели.
https://huggingface.co/papers/2502.01061
@data_analysis_ml
group-telegram.com/data_analysis_ml/3152
Create:
Last Update:
Last Update:
⚡️ Китай наносит новый удар. 🔥
ByteDance выпустила OmniHuman-1, модель для создания реалистичных видео на основе одного изображения.
OmniHuman-1 - работает на основе диффузионного преобразования, которая генерирует высокореалистичные видео на основе изображения и аудио/видео.
В модели реализовано обучение с учетом всех условий окружения, что позволяет масштабировать генерацию, создавать связанные с движением и значительно повысить реалистичность жестов и движений тела.
В отличие от предыдущих моделей, ограниченных лицевой или статичной анимацией тела, OmniHuman-1 поддерживает различные соотношения сторон, сложные взаимодействия человека и объектов вокруг.
Она превосходит существующие методы по реалистичности, достигая высокой точности синхронизации губ, точности жестов и выразительности лица.
→ Модель построена на архитектуре DiT (Diffusion Transformer), поддерживает мультимодальность.
→ Превосходит конкурентов (например, Loopy, CyberHost, DiffTED) по точности синхронизации губ (5,255 против 4,814), FVD (15,906 против 16,134) и выразительности жестов, при этом поддерживая различные пропорции тела в одной модели.
https://huggingface.co/papers/2502.01061
@data_analysis_ml
ByteDance выпустила OmniHuman-1, модель для создания реалистичных видео на основе одного изображения.
OmniHuman-1 - работает на основе диффузионного преобразования, которая генерирует высокореалистичные видео на основе изображения и аудио/видео.
В модели реализовано обучение с учетом всех условий окружения, что позволяет масштабировать генерацию, создавать связанные с движением и значительно повысить реалистичность жестов и движений тела.
В отличие от предыдущих моделей, ограниченных лицевой или статичной анимацией тела, OmniHuman-1 поддерживает различные соотношения сторон, сложные взаимодействия человека и объектов вокруг.
Она превосходит существующие методы по реалистичности, достигая высокой точности синхронизации губ, точности жестов и выразительности лица.
→ Модель построена на архитектуре DiT (Diffusion Transformer), поддерживает мультимодальность.
→ Превосходит конкурентов (например, Loopy, CyberHost, DiffTED) по точности синхронизации губ (5,255 против 4,814), FVD (15,906 против 16,134) и выразительности жестов, при этом поддерживая различные пропорции тела в одной модели.
https://huggingface.co/papers/2502.01061
@data_analysis_ml
BY Анализ данных (Data analysis)
Share with your friend now:
group-telegram.com/data_analysis_ml/3152