Telegram Group & Telegram Channel
Telegram Group » United States » Gentech Lab » Telegram Webview » Post 32
Gentech Lab
InstantID: Zero-shot Identity-Preserving Generation in Seconds #face_id #paper

Еще одна статья, решающая задачу ID customization (перевод облика персонажа из одного стилевого домена в другой с сохранением его Identity). Начало 2024 года, 11к звезд на💻Github.

Схема обучения и архитектура InstantID довольно простая. В основе лежит SDXL, авторы предлагают внедрять информацию об Identity персонажа двумя вариантами. а) Первый - IP-Adapter, позволяющий объединить текстовую информацию с эмбеддингом лица, полученный из face recognition model. б) Второй - IdentityNet. На деле это кастомизированный под свои нужды ControlNet, принимающий на вход 5 keypoint-ов лица в качестве дополнительного кондишена ControlNet-а и всё те же эмбеддинги лица из face recognition model вместо текстовых эмбеддингов промта. Авторы намеренно берут только 5 ключевых точек лица, в попытке повысить гибкость алгоритма и добиться его робастности для изображений, где лицо занимает малую часть.

Обучались только Image Adapter часть IP-Adapter-а и IdentityNet. Для дообучения использовались LAION-Face 50М датасет и были собраны 10М изображений с людьми из интернета без дополнительного кропа по лицам.

В результате имеем сильный алгоритм, хорошо показывающий себя как с точки зрения сохранения Identity лица, так и с точки зрения следования промту, задающему стилистику финального избражения.

🤗 Hugging face & demo
💻Github
📜Paper

@gentech_lab
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
www.group-telegram.com/us/gentech_lab.com/32
125 views



group-telegram.com/gentech_lab/32
Create:
Last Update:

InstantID: Zero-shot Identity-Preserving Generation in Seconds #face_id #paper

Еще одна статья, решающая задачу ID customization (перевод облика персонажа из одного стилевого домена в другой с сохранением его Identity). Начало 2024 года, 11к звезд на💻Github.

Схема обучения и архитектура InstantID довольно простая. В основе лежит SDXL, авторы предлагают внедрять информацию об Identity персонажа двумя вариантами. а) Первый - IP-Adapter, позволяющий объединить текстовую информацию с эмбеддингом лица, полученный из face recognition model. б) Второй - IdentityNet. На деле это кастомизированный под свои нужды ControlNet, принимающий на вход 5 keypoint-ов лица в качестве дополнительного кондишена ControlNet-а и всё те же эмбеддинги лица из face recognition model вместо текстовых эмбеддингов промта. Авторы намеренно берут только 5 ключевых точек лица, в попытке повысить гибкость алгоритма и добиться его робастности для изображений, где лицо занимает малую часть.

Обучались только Image Adapter часть IP-Adapter-а и IdentityNet. Для дообучения использовались LAION-Face 50М датасет и были собраны 10М изображений с людьми из интернета без дополнительного кропа по лицам.

В результате имеем сильный алгоритм, хорошо показывающий себя как с точки зрения сохранения Identity лица, так и с точки зрения следования промту, задающему стилистику финального избражения.

🤗 Hugging face & demo
💻Github
📜Paper

@gentech_lab

BY Gentech Lab





Share with your friend now:
group-telegram.com/gentech_lab/32

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Overall, extreme levels of fear in the market seems to have morphed into something more resembling concern. For example, the Cboe Volatility Index fell from its 2022 peak of 36, which it hit Monday, to around 30 on Friday, a sign of easing tensions. Meanwhile, while the price of WTI crude oil slipped from Sunday’s multiyear high $130 of barrel to $109 a pop. Markets have been expecting heavy restrictions on Russian oil, some of which the U.S. has already imposed, and that would reduce the global supply and bring about even more burdensome inflation. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%. And while money initially moved into stocks in the morning, capital moved out of safe-haven assets. The price of the 10-year Treasury note fell Friday, sending its yield up to 2% from a March closing low of 1.73%. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. Telegram has gained a reputation as the “secure” communications app in the post-Soviet states, but whenever you make choices about your digital security, it’s important to start by asking yourself, “What exactly am I securing? And who am I securing it from?” These questions should inform your decisions about whether you are using the right tool or platform for your digital security needs. Telegram is certainly not the most secure messaging app on the market right now. Its security model requires users to place a great deal of trust in Telegram’s ability to protect user data. For some users, this may be good enough for now. For others, it may be wiser to move to a different platform for certain kinds of high-risk communications.
from us


InstantID: Zero-shot Identity-Preserving Generation in Seconds #face_id #paper

 Gentech Lab TG
Webview: 32
Gentech Lab.Telegram Webview
Gentech Lab Telegram TG Channel
Telegram Updated:
Telegram Gentech Lab
FROM American