Telegram Group & Telegram Channel
Telegram Group » Korea » Gentech Lab » Telegram Webview » Post 86
Gentech Lab
DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations #style_transfer #paper

Статья (март 2024) про стилизацию картинок в задачах text-2-image и image-2-image.
Основано на модели Stable Diffusion v1.5, работает в режиме инференса, обучение не требуется.

Используется дополнительный адаптер (Q-former), который принимает на вход CLIP-эмбединг исходной картинки, обучаемый массив токенов, и текст "Style"/"Content" (в зависимости от задачи). Полученные эмбединги направляются (через cross-attention) в разные блоки U-net (контент — в узкую часть, стиль — в части с высоким разрешением).

Для обучения использовался закрытый датасет (сгенерированный через Midjourney на специально подготовленных текстовых промптах). Q-former обучается в нескольких режимах: "только стиль", "только контент", и специальный режим реконструкции исходной картинки, когда она же сама подается и в качестве стиля, и в качестве объекта.

Сделана дополнительная оптимизация вычислений: 2 отдельных слоя cross-attention объединены в один слой, который обрабатывает за один проход сконкатенированные эмбединги картинки и текста.

Возможна комбинация с любыми вариантами ControlNet (для версии SD v1.5), например, с картами глубины, Возможно смешивание разных стилей путем простого сложения их эмбедингов.

🤗HF
🔥Project Page
💻Github
📜Paper

@gentech_lab
Please open Telegram to view this post
VIEW IN TELEGRAM
www.group-telegram.com/kr/gentech_lab.com/85
430 views



group-telegram.com/gentech_lab/86
Create:
Last Update:

DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations #style_transfer #paper

Статья (март 2024) про стилизацию картинок в задачах text-2-image и image-2-image.
Основано на модели Stable Diffusion v1.5, работает в режиме инференса, обучение не требуется.

Используется дополнительный адаптер (Q-former), который принимает на вход CLIP-эмбединг исходной картинки, обучаемый массив токенов, и текст "Style"/"Content" (в зависимости от задачи). Полученные эмбединги направляются (через cross-attention) в разные блоки U-net (контент — в узкую часть, стиль — в части с высоким разрешением).

Для обучения использовался закрытый датасет (сгенерированный через Midjourney на специально подготовленных текстовых промптах). Q-former обучается в нескольких режимах: "только стиль", "только контент", и специальный режим реконструкции исходной картинки, когда она же сама подается и в качестве стиля, и в качестве объекта.

Сделана дополнительная оптимизация вычислений: 2 отдельных слоя cross-attention объединены в один слой, который обрабатывает за один проход сконкатенированные эмбединги картинки и текста.

Возможна комбинация с любыми вариантами ControlNet (для версии SD v1.5), например, с картами глубины, Возможно смешивание разных стилей путем простого сложения их эмбедингов.

🤗HF
🔥Project Page
💻Github
📜Paper

@gentech_lab

BY Gentech Lab






Share with your friend now:
group-telegram.com/gentech_lab/86

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Channels are not fully encrypted, end-to-end. All communications on a Telegram channel can be seen by anyone on the channel and are also visible to Telegram. Telegram may be asked by a government to hand over the communications from a channel. Telegram has a history of standing up to Russian government requests for data, but how comfortable you are relying on that history to predict future behavior is up to you. Because Telegram has this data, it may also be stolen by hackers or leaked by an internal employee. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." On February 27th, Durov posted that Channels were becoming a source of unverified information and that the company lacks the ability to check on their veracity. He urged users to be mistrustful of the things shared on Channels, and initially threatened to block the feature in the countries involved for the length of the war, saying that he didn’t want Telegram to be used to aggravate conflict or incite ethnic hatred. He did, however, walk back this plan when it became clear that they had also become a vital communications tool for Ukrainian officials and citizens to help coordinate their resistance and evacuations. These entities are reportedly operating nine Telegram channels with more than five million subscribers to whom they were making recommendations on selected listed scrips. Such recommendations induced the investors to deal in the said scrips, thereby creating artificial volume and price rise. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website.
from kr


DEADiff: An Efficient Stylization Diffusion Model with Disentangled Representations #style_transfer #paper

 Gentech Lab TG
Webview: 86
Gentech Lab.Telegram Webview
Gentech Lab Telegram TG Channel
Telegram Updated:
Telegram Gentech Lab
FROM American