fluxions AI vui

Небольшие разговорные модели речи, которые могут запускаться на устройстве

Это опенсорсный конкурент notebooklm

Голосовая модель 100М параметров

Умеет клонировать голос

модели могут издавать различные неречевые звуки. Добавляйте в текст охи-ахи, это должно улучшить результат

Vui.BASE - базовая модель, обученная на 40 тысячах часов аудио-разговоров.

Vui.ABRAHAM - модель одного говорящего, может отвечать с учетом контекста.

Vui.COHOST - диалоговая модель двух собеседников

Попробовать на офсайте - на старте дают 10000 кредитов. По русски ни бельмес к сожалению. Качество речи ужасное. Ах да, это ж мелкие модели для смартфонов

Код
Веса
Демо - здесь будет HF демоспейс

#tts #text2speech #voicecloning #conversation #mobile

HuggingFace запустили #MCP сервер, предлагают подключать свои LLM к API-интерфейсам Hub напрямую из Cursor, VSCode, Windsurf и других приложений MCP

#news

MARBLE: Material Recomposition and Blending in CLIP-Space

Новинка от Stability AI

Метод редактирования и смешивания материалов в изображениях с помощью предварительно обученных генеративных моделей, управляя ими через изменения в пространстве эмбеддингоав CLIP. Это позволяет настраивать такие свойства материалов, как шероховатость, металлический вид, прозрачность и свечение.

Код
Демо

#material #imageediting

На fal.ai завезли Veo 3 от Гугла. Об этом в соответствующем анонсе объявила сама площадка в своем дискорде.

Никаких пробных попыток не дают, генерация 5-ти секундного видео стоит $3.75.

Спасибо @asleephidden

#text2video

https://fal.ai/models/fal-ai/veo3/playground

SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

Метод одношаговой реставрации видео с помощью диффузии

Код ждем

#videorestoration

FlexPainter: Flexible and Multi-View Consistent Texture Generation

Гибкая генерация текстур, согласованных по ракурсам

На вход принимает референсные картинки и текстовые описания

Код ждем

#texture #image2texture

Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA

Код ждем

#gaussian #nerf

CAST: Component-Aligned 3D Scene Reconstruction from an RGB Image

Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов

В деле замешаны Deemos

Код ждем

#imageto3d #image2scene

TeGA: Texture Space Gaussian Avatars for High-Resolution DynamicHead Modeling

Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но

Кода нет

#gaussian #humanavatar