group-telegram.com/gentech_lab/74
Last Update:
Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance #paper
В относительно новой статье (март 2024) предлагается новый способ sampling guidance для unconditional generation с помощью диффузионных моделей, который, к тому же, применим и к задаче conditional generation тоже.
Авторы отмечают, что своим успехом диффузионные модели во многом обязаны classifier и classifier-free guidance (далее CG и CFG, соответственно) — методам sampling guidance, которые позволяют достигать более точного следования condition. Однако у этих методов есть несколько проблем: в случае с CG необходимо обучать классификатор под каждый класс, также уменьшается разнообразие генераций, эти методы нельзя применить к unconditional generation.
В качестве альтернативы предлагается некоторое переосмысление CFG для unconditional generation — Perturbed-Attention Guidance или PAG. Авторы замечают, что в блоках SA (self attention) матрицы Q и K отвечают за структуру генерации, а V за её наполнение (content). Так как основная часть артефактов в рамках uncoditional generation представляет из себя структурные неточности, то в рамках подхода в формуле SA Softmax(Q * K^T) заменяется на единичную матрицу. Теперь, по аналогии с CFG на каждом шаге генерации латент расшумлённый с PAG вычитается из unconditional латента с определённым коэффициентом. Авторы работы утверждают, что получающиеся траектории уводят диффузионный процесс в сторону лучших генераций, что подтверждается их экспериментами.
Стоит так же отметить, что PAG можно комбинировать с CFG в задаче conditional generation, что также приводит к улучшению качества.
🔥Project
📜Paper
@gentech_lab
