эйай ньюз

Qwen 2 - новый китайский лидер

Идёт в 5 размерах:
➖0.5B - работает в браузере, 32k контекста,
➖1.5B - 32k контекста,
➖7B - 128k контекста,
➖57B-A14B - MoE версия для дешёвого инференса, 64k контекста
➖72B - 128k контекста.

72B модель обгоняет LLaMa 3 на бенчмарках, но на арене от неё отстаёт во всём кроме китайского. Остальные модели по бенчмарках лидеры в своих весовых категориях, но и по поводу них есть сомнения, авторы Qwen ранее были замечены в тренировке своих моделей на бенчах.

Архитектура практически идентична LLaMa. Единственное исключение - MoE версия, но про её архитектуру, я уже рассказывал, с тех пор она мало изменилась.

У всех моделей, кроме старшей, лицензия Apache 2.0. У 72B своя лицензия, похожая на лицензию ламы. Отличия: нет требования в тюнах указывать название оригинала и нижняя планка MAU, при которой необходимо получать лицензию - это 100 миллионов пользователей, а не 700 миллионов, как у ламы.

Блогпост
Демка
Веса

@ai_newz

www.group-telegram.com/pl/ai_newz.com/2793

17.1K viewsJun 8, 2024 at 15:40

Qwen 2 - новый китайский лидер

Идёт в 5 размерах:
➖0.5B - работает в браузере, 32k контекста,
➖1.5B - 32k контекста,
➖7B - 128k контекста,
➖57B-A14B - MoE версия для дешёвого инференса, 64k контекста
➖72B - 128k контекста.

72B модель обгоняет LLaMa 3 на бенчмарках, но на арене от неё отстаёт во всём кроме китайского. Остальные модели по бенчмарках лидеры в своих весовых категориях, но и по поводу них есть сомнения, авторы Qwen ранее были замечены в тренировке своих моделей на бенчах.

Архитектура практически идентична LLaMa. Единственное исключение - MoE версия, но про её архитектуру, я уже рассказывал, с тех пор она мало изменилась.

У всех моделей, кроме старшей, лицензия Apache 2.0. У 72B своя лицензия, похожая на лицензию ламы. Отличия: нет требования в тюнах указывать название оригинала и нижняя планка MAU, при которой необходимо получать лицензию - это 100 миллионов пользователей, а не 700 миллионов, как у ламы.

Блогпост
Демка
Веса

@ai_newz

BY эйай ньюз