Telegram Group & Telegram Channel
Implicit Style-Content Separation using B-LoRA #paper

Еще одна статья (март 2024) про генерацию картинок с заданными объектами в заданном стиле. Является развитием идеи ZipLoRA. Аналогично сделано на основе SDXL. И точно так же используется механизм LoRA, в инференсе используются одновременно 2 обученных матрицы - одна для объекта, другая - для стиля.

В отличие от предыдущих подходов не требуется дополнительный этап дообучения двух матриц LoRA вместе, но каждую по отдельности (объект и стиль) - по-прежнему учить надо. Суть оптимизации заключается в том, что обученные матрицы LoRA накладываются не на все блоки attention, а только на 2 конкретных, в одном из которых обрабатывается информация об объекте, а в другом - о стиле. Авторы провели подробное исследование, чтобы найти в каких именно блоках attention-а это происходит. Основная часть статьи - как раз обоснование выбора этих блоков.

Есть репозиторий с кодом, код запускается и работает, результаты из статьи в немного худшем качестве, но воспроизводятся. Есть демо на HF, с некоторым набором предварительно обученных моделей.

В качестве недостатка можно отметить, что под стилем понимался цвет объекта, из чего следует проблема (которую сами же авторы и отмечают), что стиль, заключенный не в цвете, а, например, в форме объекта - может оказаться в других блоках, и тогда метод не сработает.

🤗HF demo
💻Github
📜Paper

@gentech_lab
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/gentech_lab/37
Create:
Last Update:

Implicit Style-Content Separation using B-LoRA #paper

Еще одна статья (март 2024) про генерацию картинок с заданными объектами в заданном стиле. Является развитием идеи ZipLoRA. Аналогично сделано на основе SDXL. И точно так же используется механизм LoRA, в инференсе используются одновременно 2 обученных матрицы - одна для объекта, другая - для стиля.

В отличие от предыдущих подходов не требуется дополнительный этап дообучения двух матриц LoRA вместе, но каждую по отдельности (объект и стиль) - по-прежнему учить надо. Суть оптимизации заключается в том, что обученные матрицы LoRA накладываются не на все блоки attention, а только на 2 конкретных, в одном из которых обрабатывается информация об объекте, а в другом - о стиле. Авторы провели подробное исследование, чтобы найти в каких именно блоках attention-а это происходит. Основная часть статьи - как раз обоснование выбора этих блоков.

Есть репозиторий с кодом, код запускается и работает, результаты из статьи в немного худшем качестве, но воспроизводятся. Есть демо на HF, с некоторым набором предварительно обученных моделей.

В качестве недостатка можно отметить, что под стилем понимался цвет объекта, из чего следует проблема (которую сами же авторы и отмечают), что стиль, заключенный не в цвете, а, например, в форме объекта - может оказаться в других блоках, и тогда метод не сработает.

🤗HF demo
💻Github
📜Paper

@gentech_lab

BY Gentech Lab






Share with your friend now:
group-telegram.com/gentech_lab/37

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

This ability to mix the public and the private, as well as the ability to use bots to engage with users has proved to be problematic. In early 2021, a database selling phone numbers pulled from Facebook was selling numbers for $20 per lookup. Similarly, security researchers found a network of deepfake bots on the platform that were generating images of people submitted by users to create non-consensual imagery, some of which involved children. DFR Lab sent the image through Microsoft Azure's Face Verification program and found that it was "highly unlikely" that the person in the second photo was the same as the first woman. The fact-checker Logically AI also found the claim to be false. The woman, Olena Kurilo, was also captured in a video after the airstrike and shown to have the injuries. For tech stocks, “the main thing is yields,” Essaye said. This provided opportunity to their linked entities to offload their shares at higher prices and make significant profits at the cost of unsuspecting retail investors. "Russians are really disconnected from the reality of what happening to their country," Andrey said. "So Telegram has become essential for understanding what's going on to the Russian-speaking world."
from nl


Telegram Gentech Lab
FROM American