group-telegram.com/gentech_lab/54
Last Update:
CSGO: Content-Style Composition in Text-to-Image Generation #style_transfer #paper
Свежая статья конца августа 2024 года представляет модель CSGO (Content-Style Generation Optimization), которая использует подход B-LoRA для раздельного управления контентом и стилем. B-LoRA позволяет эффективно разделять и комбинировать признаки контента и стиля, что улучшает качество генерации изображений.
Архитектура CSGO базируется на SDXL и использует два подхода для управления контентом и стилем.
Контент-контроль:
1. ControlNet: Предобученная ControlNet обрабатывает контентные изображения и текстовые описания, инъектируя информацию в базовую модель через up-sampling блоки, используя блендинг Unet и ControlNet фичей. Это снижает объем выборки, необходимый для обучения модели end-to-end.
2. Кросс-аттеншен слои: Для сохранения контентных признаков в down-sampling блоках используется CLIP Encoder, который вводит контентные данные через дополнительные слои, минимизируя потери структуры изображения.
Стиль-контроль:
1. Style Projection Layer: Стилевые признаки извлекаются с помощью предобученного image encoder и инъектируются через IP-Adapter, что позволяет лучше контролировать наложение стиля.
2. Разделение стиля и контента: Кросс-аттеншен слои предотвращают утечку стилевых признаков в контентные блоки, что помогает сохранять чёткость контента и стиля.
Для обучения модели CSGO был разработан пайплайн Content-Style-Stylized Image Triplets создания триплетов (контентное изображение, стилевое изображение и стилизованное изображение). Используются:
1. Генерация стилизованных изображений с помощью LoRA модулей для контента и стиля.
2. Очистка данных с помощью Content Alignment Score (CAS) для выбора лучших изображений, которые сохраняют контент.
На основе этой процедуры был создан датасет IMAGStyle, включающий 210k триплетов изображений (контент-стиль-стилизованное изображение), который скоро будет выложен. На данный момент это самый большой датасет для задачи Style Transfer.
CSGO превзошла существующие методы, такие как StyleID, InstantStyle, StyleAligned, по показателям точности сохранения контента (CAS) и управления стилем (CSD). Это делает модель особенно полезной для задач графического дизайна, визуального контента и текстовой генерации изображений с точным контролем стилистики.
📜Project Page
@gentech_lab
