group-telegram.com/gentech_lab/32
Last Update:
InstantID: Zero-shot Identity-Preserving Generation in Seconds #face_id #paper
Еще одна статья, решающая задачу ID customization (перевод облика персонажа из одного стилевого домена в другой с сохранением его Identity). Начало 2024 года, 11к звезд на
Схема обучения и архитектура InstantID довольно простая. В основе лежит SDXL, авторы предлагают внедрять информацию об Identity персонажа двумя вариантами. а) Первый - IP-Adapter, позволяющий объединить текстовую информацию с эмбеддингом лица, полученный из face recognition model. б) Второй - IdentityNet. На деле это кастомизированный под свои нужды ControlNet, принимающий на вход 5 keypoint-ов лица в качестве дополнительного кондишена ControlNet-а и всё те же эмбеддинги лица из face recognition model вместо текстовых эмбеддингов промта. Авторы намеренно берут только 5 ключевых точек лица, в попытке повысить гибкость алгоритма и добиться его робастности для изображений, где лицо занимает малую часть.
Обучались только Image Adapter часть IP-Adapter-а и IdentityNet. Для дообучения использовались LAION-Face 50М датасет и были собраны 10М изображений с людьми из интернета без дополнительного кропа по лицам.
В результате имеем сильный алгоритм, хорошо показывающий себя как с точки зрения сохранения Identity лица, так и с точки зрения следования промту, задающему стилистику финального избражения.
📜Paper
@gentech_lab
