Telegram Group & Telegram Channel
Implicit Style-Content Separation using B-LoRA #paper

Еще одна статья (март 2024) про генерацию картинок с заданными объектами в заданном стиле. Является развитием идеи ZipLoRA. Аналогично сделано на основе SDXL. И точно так же используется механизм LoRA, в инференсе используются одновременно 2 обученных матрицы - одна для объекта, другая - для стиля.

В отличие от предыдущих подходов не требуется дополнительный этап дообучения двух матриц LoRA вместе, но каждую по отдельности (объект и стиль) - по-прежнему учить надо. Суть оптимизации заключается в том, что обученные матрицы LoRA накладываются не на все блоки attention, а только на 2 конкретных, в одном из которых обрабатывается информация об объекте, а в другом - о стиле. Авторы провели подробное исследование, чтобы найти в каких именно блоках attention-а это происходит. Основная часть статьи - как раз обоснование выбора этих блоков.

Есть репозиторий с кодом, код запускается и работает, результаты из статьи в немного худшем качестве, но воспроизводятся. Есть демо на HF, с некоторым набором предварительно обученных моделей.

В качестве недостатка можно отметить, что под стилем понимался цвет объекта, из чего следует проблема (которую сами же авторы и отмечают), что стиль, заключенный не в цвете, а, например, в форме объекта - может оказаться в других блоках, и тогда метод не сработает.

🤗HF demo
💻Github
📜Paper

@gentech_lab
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/gentech_lab/37
Create:
Last Update:

Implicit Style-Content Separation using B-LoRA #paper

Еще одна статья (март 2024) про генерацию картинок с заданными объектами в заданном стиле. Является развитием идеи ZipLoRA. Аналогично сделано на основе SDXL. И точно так же используется механизм LoRA, в инференсе используются одновременно 2 обученных матрицы - одна для объекта, другая - для стиля.

В отличие от предыдущих подходов не требуется дополнительный этап дообучения двух матриц LoRA вместе, но каждую по отдельности (объект и стиль) - по-прежнему учить надо. Суть оптимизации заключается в том, что обученные матрицы LoRA накладываются не на все блоки attention, а только на 2 конкретных, в одном из которых обрабатывается информация об объекте, а в другом - о стиле. Авторы провели подробное исследование, чтобы найти в каких именно блоках attention-а это происходит. Основная часть статьи - как раз обоснование выбора этих блоков.

Есть репозиторий с кодом, код запускается и работает, результаты из статьи в немного худшем качестве, но воспроизводятся. Есть демо на HF, с некоторым набором предварительно обученных моделей.

В качестве недостатка можно отметить, что под стилем понимался цвет объекта, из чего следует проблема (которую сами же авторы и отмечают), что стиль, заключенный не в цвете, а, например, в форме объекта - может оказаться в других блоках, и тогда метод не сработает.

🤗HF demo
💻Github
📜Paper

@gentech_lab

BY Gentech Lab






Share with your friend now:
group-telegram.com/gentech_lab/37

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"We as Ukrainians believe that the truth is on our side, whether it's truth that you're proclaiming about the war and everything else, why would you want to hide it?," he said. In the past, it was noticed that through bulk SMSes, investors were induced to invest in or purchase the stocks of certain listed companies. Stocks dropped on Friday afternoon, as gains made earlier in the day on hopes for diplomatic progress between Russia and Ukraine turned to losses. Technology stocks were hit particularly hard by higher bond yields. The news also helped traders look past another report showing decades-high inflation and shake off some of the volatility from recent sessions. The Bureau of Labor Statistics' February Consumer Price Index (CPI) this week showed another surge in prices even before Russia escalated its attacks in Ukraine. The headline CPI — soaring 7.9% over last year — underscored the sticky inflationary pressures reverberating across the U.S. economy, with everything from groceries to rents and airline fares getting more expensive for everyday consumers. That hurt tech stocks. For the past few weeks, the 10-year yield has traded between 1.72% and 2%, as traders moved into the bond for safety when Russia headlines were ugly—and out of it when headlines improved. Now, the yield is touching its pandemic-era high. If the yield breaks above that level, that could signal that it’s on a sustainable path higher. Higher long-dated bond yields make future profits less valuable—and many tech companies are valued on the basis of profits forecast for many years in the future.
from es


Telegram Gentech Lab
FROM American