Мучаем Mochi.

В прошлом году Genmo не раз мелькали в новостях со своим генератором видео, но в последнее время от них ничего не было слышно.

Недавно они выпустили в опенсорс модель Mochi 1, которую чтобы гонять нужно было 4 H100 или иди к ним на сайт, где фришные генерации уже висят неделю. Следом подтянулись пожатые GGUF версии и vid-2-vid варики.

И вот теперь команды Comfy и Genmo объединись и оптимизировали базовую Mochi 1 для запуска в Comfy на пользовательском железе.

Чтобы начать обновите Comfy, или скачайте последнюю версию с гитхаба. Если у вас Comfy стоит через Pinokio, в боковой панели при старте нажимаете update —> перезагрузите Pinokio —> запустите Comfy —> в боковой панели появится Quick Installers —> выбираете вариант Mochi на 17 ГБ VRAM или 22 ГБ VRAM. Дальше скрипт сам скачает все модели.

Воркфлоу (отсюда или отсюда) в виде видео формата webp сохраняете к себе на комп и вкидываете в открытый интерфейс Comfy. Если делали через Pinokio, все ноды сами встанут как нужно — вам останется только вписать промт и поиграться с настройками. Если через гитхаб, то вручную укажите модель, энкодер, VAE как написано тут.

bf16 версия наиболее качественная и во время генерации будет кушать 21-22 ГБ VRAM при дефолтных настройках: 848х480, 24 fps, 30 шагов, cfg 4.5, качестве 80, и длительности в 37 кадров. На одно видео при этом уходит примерно 1 мин 45 сек на 4090.

fp8 при тех же настройках даёт качество похуже, но занимает 17-18 ГБ при генерации. Однако на последнем этапе, во время декода VAE, потребление VRAM стрельнёт резко вверх, и по факту 24 гигов и то с трудом хватит, может и зависнуть (кратко или с концами). Так что закрывайте все приложения по максимуму, или если у вас 2 GPU юзайте ту, что не подключена к дисплею. Хотя не факт, что это поможет ибо после генерации VRAM целиком не освобождается и для следующего захода памяти остаётся меньше, чем для предыдущего. Время на генерацию кстати меньше особо не становится: ~1 мин 30 сек.

Причём нынешняя модель генерит в 480p, а в конце года обещают выложить веса для вывода в HD... воет по 2х5090'ньи

Про качество: Mochi очень хорошо понимает промт и грамотно выстраивает композицию, что особенно важно с моделью, где на одну генерацию уходят минуты. Ползунок Quality как по мне выкрученный на 100 мало что меняет, максимум видеоряд становится менее шумным и плавнее (но при этом и зависнуть может). Кипение и нестабильность тут есть, но это 480p, а если глянуть HD у них на гитхабе, то там всё красиво. На сайте, кстати, заявленного качества как-то не выцепил (раз и два, остальное зависло).

Если сравнивать с Allegro, который по умолчанию генерит в HD, то у Mochi чувствуется под капотом high quality датасет с киношными кадрами, игровыми синематиками, рекламой, итд, а с Allegro такого нет. Причём по кадрам нередко кажется, что это не генерация, а рандомный выбор видео из каталога, и кто-то вот-вот скажет "Да это же моё видео!". Также в Allegro сложнее промтом добиться нужной и стабильной картинки, а времени на генерацию уходит больше.

Таким образом Mochi 1 это лучший опенсорсный видеогенератор на данный момент.

PS, ещё пара наблюдений: генерация в Comfy с гитхаба занимает 1:45 сек, а в Pinokio 1:55. При этом энергопотребление в родном Comfy доходит до 521 Вт, а в Pinokio значительно ниже, в районе 430 Вт, и я это не раз замечал и с другими моделями. Скорее всего дело в паках-библиотеках-зависимостях, где с Comfy используется что ты сам поставишь в систему и папку с прилой, а Pinokio сам подбирает.

UPDATE: при установке длительности в 25 кадров, вообще никаких проблем не наблюдается на bf16, в том числе и надекоде VAE. Генерация при этом занимает ~1 мин 13 сек или ~2.43s/it на дефолтных настройках. А, да, я ещё качество до 100 поднял.

Анонс
Гитхаб Mochi 1
Comfy воркфлоу
Блогпост про Mochi 1

GPT4FREE Portable by Neurogen - Бесплатный доступ к ChatGPT 4o, Claude-3.5 и к моделям генерации изображений, таким как Flux, SD 3, SD XL.

Данная сборка основана на базе проекта gpt4free, который позволяет путем реверс-инжиниринга получать бесплатный доступ к различным нейросетям. Проект поддерживает множество моделей, таких как:

GPT-4o
GPT-4o-mini
Claude-3.5
LLaMa-3.1 и 3.2
Qwen-2.5

а также моделей для генерации изображений, таких как Flux, Stable Diffusion XL и Stable Diffusion 3.

Что нового в обновлении, по сравнению с прошлой версией:

- Обновлен код до актуального
- Добавлена поддержка новых моделей:

claude-3.5-sonnet
gemini-flash
llama-3.1-405B
Flux

И ряда других различных моделей.

Скачать сборку GPT4FREE Portable by Neurogen

Запуск программы:

- Распакуйте архив. Важно, в пути не должно быть кириллицы, иначе возможны ошибки
- Запустите файл start.bat
- Дождитесь загрузки программы. Если система запросит разрешение на доступ в интернет для Python - то предоставьте его.
- После этого открывшаяся страница в браузере должна обновиться. Если этого не произошло, то попробуйте обновить вручную.

Стоит сразу отметить, что так доступ получается «обходными путями», то работа может быть нестабильной. В случае ошибок иногда помогает перегенерация запроса.

#chatgpt #llm #portable

Neurogen - подпишись, тут рассказывают про нейросети

Qwen2.5-Coder - лучше чем GPT-4o для кодинга

Qwen2.5-Coder это целое семейство моделей:

Qwen2.5-Coder-0.5B
Qwen2.5-Coder-1.5B
Qwen2.5-Coder-3B
Qwen2.5-Coder-7B
Qwen2.5-Coder-14B
Qwen2.5-Coder-32B

При этом, в большинстве тестов и бенчмарков, старшая модель на 32B параметров обходит GPT-4o и Claude-3.5-Sonnet.

Что касаемо ключевых характеристик, то младшие модели (0.5B-3B) имеют контекстное окно в 32К токенов, в то время как все остальные уже 123К токенов.

Квантованные GGUF версии для локального запуска уже доступны для загрузки:

Qwen2.5-Coder-32B-Instruct-Q4_K_M.gguf (потребуется примерно 20
GB видео или оперативной памяти)
Qwen2.5-Coder-14B-Instruct-Q4_K_M.gguf (потребуется примерно 9 GB видео или оперативной памяти)
Qwen2.5-Coder-7B-Instruct-Q6_K.gguf (потребуется примерно 6,5 GB видео или оперативной памяти)
Qwen2.5-Coder-3B-Q6_K.gguf (потребуется примерно 2,5 GB видео или оперативной памяти)

#llm #code #qwen

Протестировать работу Qwen 2.5 Coder онлайн можно тут.

Модель генерирует ответы довольно шустро, кроме того, данная демка поддерживает Artifacts, проще говоря, вы можете посмотреть уже готовое веб приложение или страницу прямо в браузере.

#llm #code #qwen

Вышел клиент ChatGPT для Windows

Скачать его можно через Microsoft Store. Если у вас неактивна кнопка загрузки, то попробуйте поменять регион вашего Microsoft аккаунта и Windows на другую страну (к примеру, США).

Локальный клиент повторяет функционал веб версии ChatGPT (такие как GPTs, память ChatGPT и т.д), но при этом имеет поддержку голосового чата.

#chatgpt #gpt

Neurogen - подпишись, тут рассказывают про нейросети