Telegram Group & Telegram Channel
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Scalable Diffusion Models with Transformers (DiT)

Как вы заметили, текущие SOTA text-2-image модели вроде DALLE-2, и Stable Diffusion используют допотопную архитектуру U-Net в качестве бэкбона для процесса диффузии.

Один интерн из Meta AI покумекал и решил прикрутить в Latent Diffusion трансформер вместо морально устаревшего U-Neta (идея очевидная, да?). С небольшими трюками, позволяющими эффективно пробрасывать conditioning сигнал во все слои трансформера, мы получем SOTA в условной генерации изображений.

Из позитивных свойств, чем жирнее трансформер (количество слоев и их глубина) в диффузии, тем лучше качество генерации. Нам ещё предстоит понять, где этот предел в размере модели.

Архитектура модели довольна проста в реализации и занимает всего 300 строк кода.

На анимации – блуждание по латентному пространству модели.

❱❱ Код
❱❱ Сайт проекта
❤️ Поиграться в Коллабе

@ai_newz



group-telegram.com/ai_newz/1663
Create:
Last Update:

🔥Scalable Diffusion Models with Transformers (DiT)

Как вы заметили, текущие SOTA text-2-image модели вроде DALLE-2, и Stable Diffusion используют допотопную архитектуру U-Net в качестве бэкбона для процесса диффузии.

Один интерн из Meta AI покумекал и решил прикрутить в Latent Diffusion трансформер вместо морально устаревшего U-Neta (идея очевидная, да?). С небольшими трюками, позволяющими эффективно пробрасывать conditioning сигнал во все слои трансформера, мы получем SOTA в условной генерации изображений.

Из позитивных свойств, чем жирнее трансформер (количество слоев и их глубина) в диффузии, тем лучше качество генерации. Нам ещё предстоит понять, где этот предел в размере модели.

Архитектура модели довольна проста в реализации и занимает всего 300 строк кода.

На анимации – блуждание по латентному пространству модели.

❱❱ Код
❱❱ Сайт проекта
❤️ Поиграться в Коллабе

@ai_newz

BY эйай ньюз

❌Photos not found?❌Click here to update cache.


Share with your friend now:
group-telegram.com/ai_newz/1663

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." "There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said. Under the Sebi Act, the regulator has the power to carry out search and seizure of books, registers, documents including electronics and digital devices from any person associated with the securities market. Anastasia Vlasova/Getty Images
from br


Telegram эйай ньюз
FROM American