StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
Вы, наверное заметили, что про Ганы (GANs) для генерации картинок никто больше не говорит, они как-то отъехали на задний план после появления диффузионных моделей типа SD. Все потому что их трудно тренировать и они часто коллапсируют. Единственное преимущество у Ганов было только в том, что они генерят картинку за один прогон (forward pass), а не за десятки прогонов, как диффузионные модели.
Но вот на поляну вышел новый игрок от Ганов -- StyleGAN-T. Это GAN для tex2image генерации, которые генерит достойные результаты, да еще и супер быстро (0.1 сек на картинку 512x512). Новая архитектура базируется на StyleGAN-XL, но переосмысливает дизайн генератора и дискриминатора и использует СLIP для alignment-а текстового промпта и сгенеренных картинок. См. архитектуру в посте ниже.
В общем, теперь StyleGAN-T генерит по тексту гораздо лучше, чем другие ганы и работает все очень быстро. Но, конечно о качестве полноразмерной модели SD там речи не идет, Ганы все еще всасывают. Но, думаю, все идет к тому, что через ~1 год мы сможем генерить супер качественные картинки по тексту за время в пределах 1 секунды. И будет это что-то среднее между Ганом и диффузионной моделью.
StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
Вы, наверное заметили, что про Ганы (GANs) для генерации картинок никто больше не говорит, они как-то отъехали на задний план после появления диффузионных моделей типа SD. Все потому что их трудно тренировать и они часто коллапсируют. Единственное преимущество у Ганов было только в том, что они генерят картинку за один прогон (forward pass), а не за десятки прогонов, как диффузионные модели.
Но вот на поляну вышел новый игрок от Ганов -- StyleGAN-T. Это GAN для tex2image генерации, которые генерит достойные результаты, да еще и супер быстро (0.1 сек на картинку 512x512). Новая архитектура базируется на StyleGAN-XL, но переосмысливает дизайн генератора и дискриминатора и использует СLIP для alignment-а текстового промпта и сгенеренных картинок. См. архитектуру в посте ниже.
В общем, теперь StyleGAN-T генерит по тексту гораздо лучше, чем другие ганы и работает все очень быстро. Но, конечно о качестве полноразмерной модели SD там речи не идет, Ганы все еще всасывают. Но, думаю, все идет к тому, что через ~1 год мы сможем генерить супер качественные картинки по тексту за время в пределах 1 секунды. И будет это что-то среднее между Ганом и диффузионной моделью.
A Russian Telegram channel with over 700,000 followers is spreading disinformation about Russia's invasion of Ukraine under the guise of providing "objective information" and fact-checking fake news. Its influence extends beyond the platform, with major Russian publications, government officials, and journalists citing the page's posts. The gold standard of encryption, known as end-to-end encryption, where only the sender and person who receives the message are able to see it, is available on Telegram only when the Secret Chat function is enabled. Voice and video calls are also completely encrypted. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%. Overall, extreme levels of fear in the market seems to have morphed into something more resembling concern. For example, the Cboe Volatility Index fell from its 2022 peak of 36, which it hit Monday, to around 30 on Friday, a sign of easing tensions. Meanwhile, while the price of WTI crude oil slipped from Sunday’s multiyear high $130 of barrel to $109 a pop. Markets have been expecting heavy restrictions on Russian oil, some of which the U.S. has already imposed, and that would reduce the global supply and bring about even more burdensome inflation. There was another possible development: Reuters also reported that Ukraine said that Belarus could soon join the invasion of Ukraine. However, the AFP, citing a Pentagon official, said the U.S. hasn’t yet seen evidence that Belarusian troops are in Ukraine.
from de