эйай ньюз

Коллеги из Meta только что релизнули веса нескольких моделей для ресёрча

Chameleon - мультимодальная модель, которую изначально тренировали и на изображениях и тексте. В пейпере представлена версия которая может и воспринимать и генерировать текст с изображениями, но генерации изображений в открытом релизе нет. Есть две модели: 7B и 34B, обе тренировали на 10 триллионах токенов. Лицензия некоммерческая (только для ресёрча).
Веса
Пейпер (его выпустили ещё в прошлом месяце)

Multi-Token Prediction Language Model - модель которая за раз предсказывает несколько следующих токенов. Это заметно ускоряет инференс, плюс тюнинг такой модели для генерации одного токена за раз обгоняет обычные методы тренировки. Модель только для ресёрча, в коммерческих целях их использовать не позволяет лицензия.
Веса
Пейпер

Ещё пообещали выпустить в этом месяце новую модель для генерации аудио JASCO, с некоммерческой лицензией (CC-BY-NC), добавив ее в либу Audiocraft.
Репа, где будет релиз
Примеры работы модели

@ai_newz

www.group-telegram.com/ru/ai_newz.com/2875

19.5K viewsedited  Jun 18, 2024 at 18:55

Коллеги из Meta только что релизнули веса нескольких моделей для ресёрча

Chameleon - мультимодальная модель, которую изначально тренировали и на изображениях и тексте. В пейпере представлена версия которая может и воспринимать и генерировать текст с изображениями, но генерации изображений в открытом релизе нет. Есть две модели: 7B и 34B, обе тренировали на 10 триллионах токенов. Лицензия некоммерческая (только для ресёрча).
Веса
Пейпер (его выпустили ещё в прошлом месяце)

Multi-Token Prediction Language Model - модель которая за раз предсказывает несколько следующих токенов. Это заметно ускоряет инференс, плюс тюнинг такой модели для генерации одного токена за раз обгоняет обычные методы тренировки. Модель только для ресёрча, в коммерческих целях их использовать не позволяет лицензия.
Веса
Пейпер

Ещё пообещали выпустить в этом месяце новую модель для генерации аудио JASCO, с некоммерческой лицензией (CC-BY-NC), добавив ее в либу Audiocraft.
Репа, где будет релиз
Примеры работы модели

@ai_newz

BY эйай ньюз