OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

Так, вы будете смеяться, но у нас новый и реально бомбоносный видеогенератор.

Тикток выкатил продолжение своих разработок Loopy, о котором я писал в сентябре в обзоре нейроаватаров https://www.group-telegram.com/cgevent.com/9365

Два очень крутых момента:
1. Заточен на генерации людей, причем не только аватаров, но и различные виды портретной съемки (лицо крупным планом, портрет, половина тела, полное тело). Обрабатывает взаимодействие человека с объектами и сложные позы тела, а также адаптируется к различным стилям изображения.

2. И самое главное, на входе у него не только текст и картинка (как мы привыкли), но полный набор вот таких модальностей: текст, аудио(да, звук на вход для липсинка), картинка, другое видео, и внимание - позы. Типа контролНет, который забирается с других видео или картинок. Причем внутри есть развесовка этих разных входных сигналов.

В основе лежит видеогенератор SeaWeed (text-to-video), от Тиктока же, на которого навалили Omni-Conditions Training Strategy - обучение на разных входных сигналах.

OmniHuman model utilizes a causal 3DVAE to project videos at their native size into a latent space and employs flow matching as the training objective to learn the video denoising process. We employ a three-stage mixed condition post-training approach to progressively transform the diffusion model from a general text-to-video model to a multi-condition human video generation model. These stages sequentially introduce the driving modalities of text, audio, and pose according to their motion correlation strength, from weak to strong, and balance their training ratios.

Поглядите на сайт проекта, тьма видосов. Там и певцы, и на дуде игрецы, и махальщики руками.
Но кода нет. Код Loopy и CyberHost тоже не появился. Что наводит на нехорошие мысли.

Фарш тут: https://omnihuman-lab.github.io/

Спасибо Игорю за наводку.

@cgevent

Нано-конкурент Eleven Labs, но с контролем эмоций.

Интересный сервис:
https://play.cartesia.ai/text-to-speech

Умеет дизайнить голос, дергая за педальки эмоций.
Там же клонинг голоса, войс ченджер и локализация на до хрена языков. И даже voice mixing (через эмбединги).
У них своя проприетарная TTS-модель Sonic.

Это нашлепка над их собственными разработками по реалтаймовым ИИ.
https://cartesia.ai/

Мне особо не надо, но в чате часто спрашивали...

Эмоции на видео прям читаются, не чит ли?

@cgevent

2025 только начался, а OTOY уже приглашает тебя в 2026.

OctaneRender, движок для рендеринга 3D и эффектов, обзавёлся поддержкой сплатов в версии 2026.1 Alpha 1.

На видео показано как сплаты рендерятся в реальном времени при работе с DOF камеры, и как меняется освещение, когда другой объект добавляется в сцену.

Сплаты с трассировкой лучей работают медленнее, чем подходы на основе растеризации, однако есть все преимущества рейтрейсинга: сплаты видны в отражениях и преломлениях, могут освещать объекты сцены и отбрасывать на них тени.

Также внедряют поддержку разных AI сервисов: Kling, Luma, Black Forest Labs (Flux), итд.

Сайт
Скачать