🔒 Эмоциональное: Пытался запустить алгоритм еще с момента неофициального кода, и уже 2 недели ковырялся в коде и...
🔄 Вышел официальный код Tune-A-Video, позволяющий создавать text2video с референс видео INFO—PAPER—GITHUB—DEMO(только, если арендуете A100 на HF)
🔄 Коротко как работает: Разбираем видео на кадры, затем дообучаем на этих кадрах нужную SD модель(Да-да, ваши Dreambooth модельки спокойно прикручиваются), вытаскиваем кадры с новым промптом. Тем самым есть запоминание движения и персонажей, при этом окружение и стилистику можно менять!
На данный момент это не продакшн генерации, а вот мемов понаделать, уууух
😐 По ресурсам: Требуется больше 24 гб памяти для обучения модельки, в среднем 512x512 8 кадров видео файнтюнится за 10 минут(!)
А на превью сделал танец в разных стилистиках, и как же я рад, что спустя 2 недели появился адекватный результат генераций.
🔒 Эмоциональное: Пытался запустить алгоритм еще с момента неофициального кода, и уже 2 недели ковырялся в коде и...
🔄 Вышел официальный код Tune-A-Video, позволяющий создавать text2video с референс видео INFO—PAPER—GITHUB—DEMO(только, если арендуете A100 на HF)
🔄 Коротко как работает: Разбираем видео на кадры, затем дообучаем на этих кадрах нужную SD модель(Да-да, ваши Dreambooth модельки спокойно прикручиваются), вытаскиваем кадры с новым промптом. Тем самым есть запоминание движения и персонажей, при этом окружение и стилистику можно менять!
На данный момент это не продакшн генерации, а вот мемов понаделать, уууух
😐 По ресурсам: Требуется больше 24 гб памяти для обучения модельки, в среднем 512x512 8 кадров видео файнтюнится за 10 минут(!)
А на превью сделал танец в разных стилистиках, и как же я рад, что спустя 2 недели появился адекватный результат генераций.
Anastasia Vlasova/Getty Images Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." In 2014, Pavel Durov fled the country after allies of the Kremlin took control of the social networking site most know just as VK. Russia's intelligence agency had asked Durov to turn over the data of anti-Kremlin protesters. Durov refused to do so. "For Telegram, accountability has always been a problem, which is why it was so popular even before the full-scale war with far-right extremists and terrorists from all over the world," she told AFP from her safe house outside the Ukrainian capital.
from kr
