Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion

Метод ускорения видеогенерации через какие-то там трюки на обучении.

Модель генерирует высококачественные видео с разрешением 480P с начальной задержкой ~ 0,8 секунды, после чего кадры генерируются в потоковом режиме со скоростью ~ 16 кадров в секунду на одной H100 и ~ 10 кадров в секунду на одной 4090 с некоторой оптимизацией.

Уже работает #comfyui нативно и в враппере, просто нужна модель от HF.

Это модель 1.3B T2V, но в враппере ее можно использовать с модулем Vace для дополнительных входов.

Есть 3 модели, нужна только одна, dmd, кажется, работает хорошо...

Это малошаговая модель, вероятно, быстрее, чем использование Causvid lora (на модели 1.3b)

Используйте LCM SAMPLER

Код
воркфлоу

#text2video #optimization #realtime

Magistral

Новая рассуждающая модель от Mistral.

Быстрый. Справляется с задачами, требующими специфических знаний, прозрачности и мультиязычности. Понимает русский

• Small - опенсорс.
• Medium - более крупная модель для корпоративных клиентов. Тянется к уровню DeepSeek R1. Превью можно потестить в Le Chat.

Веса Small на HF
LeChat - Попробовать Medium

#assistant #reasoning

Время мемов и рефлексии
Складывайте сюда все что накопили

#humor