group-telegram.com/gentech_lab/29
Last Update:
PuLID: Pure and Lightning ID Customization via Contrastive Alignment #face_id #paper
Статья 2024 года. Решается задача ID customization или перевод облика персонажа из одного стилевого домена в другой с сохранением его Identity. К Identity будем относить узнаваемость лица, прическу и цвет кожи.
Метод базируется на двух архитектурах: SDXL и SDXL-Lightning (метод быстрой генерации за 4 шага). Последняя применяется во время инференса и в качестве Lightning T2I training branch. Внутри этой части архитектуры авторы предлагают строить contrastive пары лиц w/o ID и w/ ID c общим, заданным через prompt, доменом стиля. За счет шеринга весов и контрастного обучения авторам получается добиться минимизации влияния ID эмбеддингов на семантику остальной картинки. В качестве ID Encoder-а авторы предлагают использовать face recognition model и EVA-CLIP, эмбеддинги от которых проходят через MLP слои и суммируются в общий вектор.
Обучение происходит в три стадии: 1) На первой происходит стандартное text-to-image (T2I) обучение. 2) На второй к диффузионному лоссу добавляется accurate L_id лосс. Считаем его между выходами Lightning T2I training branch w/o ID и w/ ID. Тут важно, что Identity мы считаем уже в расшумленном пространстве изображений (в предыдущих подходах face-id сеть накладывалась на промежуточных шагах с большим количеством шума). 3) Наконец, на третьей стадии добавляется semantic alignment и layout alignment loss-ы, отвечающие за сохранение информации в финальной генерации, которая не должна меняться во время ID инъекции.
📜Paper
@gentech_lab
