Я обычно не выкладываю промпты. Но вот что-то последнее время попадается на глаза красота с использованием стилевых кодов для MJ. Заодно и расскажу, как это работает на уровне имплементации.
Что такое эти стилевые коды?
Кроме текстового промпта на вход можно подать ссылку на референсную картинку (или несколько), в стиле которой и будет финальная генерация. MJ не раскрывают имплементацию этой фичи (боятся конкуренции). Но почти наверняка это работает на базе IP-Adapter – это штука, которая позволяет дотюнить диффузию так, чтобы кроме текстового промпта на вход можно было также подавать референсную картинку. Это может использоваться как для генерации нескольких картинок в одном стиле, так и для консистентности персонажа. Картинка преобразуется в вектор с помощью CLIP, который затем скармливается в продублированные параллельно с оригинальными cross-attention слои в каждом слое трансформера (в случае DiT или SD3) или в соответствующих слоях Unet. Иногда еще добавляют LoRA чтобы слегка подстроить оригинальные cross-attention слои, работающие с текстом.
Так вот, самые интересные стили могут быть "закешированы" на сервере в виде векторов, которым назначены номера. Затем эти стили можно легко и быстро переиспользовать, если известен номер. Это и делает аргумент
Вот моя подборка таких sref кодов (по номерам картинок в посте):
1.
2.
3.
4.
5.
6.
7.
Коды, кстати, можно мешать и даже выставлять веса для каждого через
Больше стилей и кодов к ним можно посмотреть в этой галлерее: midjourneysref.com
@ai_newz
Что такое эти стилевые коды?
Кроме текстового промпта на вход можно подать ссылку на референсную картинку (или несколько), в стиле которой и будет финальная генерация. MJ не раскрывают имплементацию этой фичи (боятся конкуренции). Но почти наверняка это работает на базе IP-Adapter – это штука, которая позволяет дотюнить диффузию так, чтобы кроме текстового промпта на вход можно было также подавать референсную картинку. Это может использоваться как для генерации нескольких картинок в одном стиле, так и для консистентности персонажа. Картинка преобразуется в вектор с помощью CLIP, который затем скармливается в продублированные параллельно с оригинальными cross-attention слои в каждом слое трансформера (в случае DiT или SD3) или в соответствующих слоях Unet. Иногда еще добавляют LoRA чтобы слегка подстроить оригинальные cross-attention слои, работающие с текстом.
Так вот, самые интересные стили могут быть "закешированы" на сервере в виде векторов, которым назначены номера. Затем эти стили можно легко и быстро переиспользовать, если известен номер. Это и делает аргумент
--sref <код-стиля> после промпта в MJ.Вот моя подборка таких sref кодов (по номерам картинок в посте):
1.
--c 8 --sref 4158384349 --p --s 1000 --ar 1:12.
--sref 3406681703.
--sref 9817441814.
shot, underwater --c 30 --ar 2:3 --sref 981744181 --p --s 5005.
--sref 3677111049 {--style raw}6.
--sref 885020885 --style raw --ar 2:3 --sw 200 --stylize 3007.
--sref 1693082081 Коды, кстати, можно мешать и даже выставлять веса для каждого через
:: . В этом случае эти закешированные вектора линейно интерполируются. А параметр --sw 0-100 меняет вес всего стиля (style weight). Ну, и небольшой промптинг для полировки всё-таки может понадобиться.Больше стилей и кодов к ним можно посмотреть в этой галлерее: midjourneysref.com
@ai_newz
group-telegram.com/ai_newz/2992
Create:
Last Update:
Last Update:
Я обычно не выкладываю промпты. Но вот что-то последнее время попадается на глаза красота с использованием стилевых кодов для MJ. Заодно и расскажу, как это работает на уровне имплементации.
Что такое эти стилевые коды?
Кроме текстового промпта на вход можно подать ссылку на референсную картинку (или несколько), в стиле которой и будет финальная генерация. MJ не раскрывают имплементацию этой фичи (боятся конкуренции). Но почти наверняка это работает на базе IP-Adapter – это штука, которая позволяет дотюнить диффузию так, чтобы кроме текстового промпта на вход можно было также подавать референсную картинку. Это может использоваться как для генерации нескольких картинок в одном стиле, так и для консистентности персонажа. Картинка преобразуется в вектор с помощью CLIP, который затем скармливается в продублированные параллельно с оригинальными cross-attention слои в каждом слое трансформера (в случае DiT или SD3) или в соответствующих слоях Unet. Иногда еще добавляют LoRA чтобы слегка подстроить оригинальные cross-attention слои, работающие с текстом.
Так вот, самые интересные стили могут быть "закешированы" на сервере в виде векторов, которым назначены номера. Затем эти стили можно легко и быстро переиспользовать, если известен номер. Это и делает аргумент
Вот моя подборка таких sref кодов (по номерам картинок в посте):
1.
2.
3.
4.
5.
6.
7.
Коды, кстати, можно мешать и даже выставлять веса для каждого через
Больше стилей и кодов к ним можно посмотреть в этой галлерее: midjourneysref.com
@ai_newz
Что такое эти стилевые коды?
Кроме текстового промпта на вход можно подать ссылку на референсную картинку (или несколько), в стиле которой и будет финальная генерация. MJ не раскрывают имплементацию этой фичи (боятся конкуренции). Но почти наверняка это работает на базе IP-Adapter – это штука, которая позволяет дотюнить диффузию так, чтобы кроме текстового промпта на вход можно было также подавать референсную картинку. Это может использоваться как для генерации нескольких картинок в одном стиле, так и для консистентности персонажа. Картинка преобразуется в вектор с помощью CLIP, который затем скармливается в продублированные параллельно с оригинальными cross-attention слои в каждом слое трансформера (в случае DiT или SD3) или в соответствующих слоях Unet. Иногда еще добавляют LoRA чтобы слегка подстроить оригинальные cross-attention слои, работающие с текстом.
Так вот, самые интересные стили могут быть "закешированы" на сервере в виде векторов, которым назначены номера. Затем эти стили можно легко и быстро переиспользовать, если известен номер. Это и делает аргумент
--sref <код-стиля> после промпта в MJ.Вот моя подборка таких sref кодов (по номерам картинок в посте):
1.
--c 8 --sref 4158384349 --p --s 1000 --ar 1:12.
--sref 3406681703.
--sref 9817441814.
shot, underwater --c 30 --ar 2:3 --sref 981744181 --p --s 5005.
--sref 3677111049 {--style raw}6.
--sref 885020885 --style raw --ar 2:3 --sw 200 --stylize 3007.
--sref 1693082081 Коды, кстати, можно мешать и даже выставлять веса для каждого через
:: . В этом случае эти закешированные вектора линейно интерполируются. А параметр --sw 0-100 меняет вес всего стиля (style weight). Ну, и небольшой промптинг для полировки всё-таки может понадобиться.Больше стилей и кодов к ним можно посмотреть в этой галлерее: midjourneysref.com
@ai_newz
BY эйай ньюз
Share with your friend now:
group-telegram.com/ai_newz/2992