Есть крутой опенсорсный text-2-speech (TTS) проект Coqui. У них в наличии имеется сайт, на котором много голосовых пресетов, есть настройка скорости произношения, легко клонировать речь и генерить на её основе фразы на разных языках.

Также у них репо на гитхабе Coqui TTS, которое используется разными проектами, как база для работы голосом. Тут есть поддержка Bark для клонирования, предобученные модели на 1100+ языков, Tortoise для быстрого инференса, API, и смешивание голосов. Можно натренить модель на своих данных, если нужно. Однако эта модель по качеству генераций уступает той, что на сайте — XTTS, которая после пробника перекрыта платкой.

Теперь они выложили веса XTTS в открытый доступ. Что имеем:

* клонирование голоса по 3 секундам (больше-лучше)
* генерация клонированным голосом на по тексту разных языках
* качество в 24khz

Camenduru уже запилил колаб. Заодно вот модель Wav2Lip для липсинка... Собираем в режиме лего опенсорсный Heygen.

Сайт Coqui
Демо (HF)
Демо (колаб)
Гитхаб
Веса на HF