Кажется, это прорыв. Ему хватает всего 75 токенов в секунду, чтобы поставить рекорд в качестве реконструкции речи. При этом всё работает довольно сносно и для 45 ток/с. Предыдущие решения даже близко не стояли!
Как авторам это удалось? Просто набор удачных технических трюков поверх Encodec: - отказались от dilated conv в декодере в пользу Fourier Transform - расширили окно внимания до 3 сек - оптимальная инициализация кодбука через k-means - единый квантайзер вместо иерархического - большой словарь аудио-токенов (2^12)
Такие токенизаторы используются для Text-to-Speech моделей, для мультимодальных LLM (GPT-4o) и для генерации музыки. Код и веса в открытом доступе.
Кажется, это прорыв. Ему хватает всего 75 токенов в секунду, чтобы поставить рекорд в качестве реконструкции речи. При этом всё работает довольно сносно и для 45 ток/с. Предыдущие решения даже близко не стояли!
Как авторам это удалось? Просто набор удачных технических трюков поверх Encodec: - отказались от dilated conv в декодере в пользу Fourier Transform - расширили окно внимания до 3 сек - оптимальная инициализация кодбука через k-means - единый квантайзер вместо иерархического - большой словарь аудио-токенов (2^12)
Такие токенизаторы используются для Text-to-Speech моделей, для мультимодальных LLM (GPT-4o) и для генерации музыки. Код и веса в открытом доступе.
The Russian invasion of Ukraine has been a driving force in markets for the past few weeks. Messages are not fully encrypted by default. That means the company could, in theory, access the content of the messages, or be forced to hand over the data at the request of a government. Multiple pro-Kremlin media figures circulated the post's false claims, including prominent Russian journalist Vladimir Soloviev and the state-controlled Russian outlet RT, according to the DFR Lab's report. Such instructions could actually endanger people — citizens receive air strike warnings via smartphone alerts. In 2014, Pavel Durov fled the country after allies of the Kremlin took control of the social networking site most know just as VK. Russia's intelligence agency had asked Durov to turn over the data of anti-Kremlin protesters. Durov refused to do so.
from us
