group-telegram.com/gentech_lab/72
Last Update:
InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation #style_transfer #paper
Статья (июнь 2024) про стилизацию картинок в задачах image-to-image. Вторая статья в серии статей (InstantStyle, InstantStyle-Plus, CSGO) от этих же авторов. На вход принимается картинка стиля (образец) и исходная картинка объекта, который хотим менять. На выход выдается сгенерированная картинка, в которой исходный объект перерисован в другом стиле.
В статье много раз отмечается, что основной фокус сделан на сохранении исходного объекта, чтобы вносить в него как можно меньше искажений при изменении стиля. Cистема построена на основе SDXL, fine-tuning не требуется, вся работа — в режиме инференса.
Обуславливание выполняется одновременно за счет нескольких механизмов:для контента:
- картинка объекта переводится в латентное пространство и там делается инверсия в зашумленное состояние (используется модель ReNoise). С этого нового начального состояния начинается процесс денойзинга.
- картинка объекта проходит через Tile ControlNet (особый вид ControlNet, изначально предназначен для upscaling, предобучен на больших картинках, составленных из повторяющихся маленьких картинок) и подается на каждом шаге денойзинга через cross-attention.
- картинка объекта проходит через Image Adapter (IP-Adapter) и тоже подается на каждом шаге денойзинга через cross-attention.для стиля:
- картинка стиля проходит через Style Adapter (IP-Adapter) и подается на каждом шаге денойзинга через cross-attention (в соответствии с рекомендациями InstantStyle — только в один конкретный блок U-net).
- на каждом шаге результат сравнивается с картинкой стиля через CLIP Style Similarity, и эта разность используется в качестве guidance на следующих шагах денойзинга.
🔥Project Page
📜Paper
@gentech_lab
