Идёт в 5 размерах: ➖0.5B - работает в браузере, 32k контекста, ➖1.5B - 32k контекста, ➖7B - 128k контекста, ➖57B-A14B - MoE версия для дешёвого инференса, 64k контекста ➖72B - 128k контекста.
72B модель обгоняет LLaMa 3 на бенчмарках, но на арене от неё отстаёт во всём кроме китайского. Остальные модели по бенчмарках лидеры в своих весовых категориях, но и по поводу них есть сомнения, авторы Qwen ранее были замечены в тренировке своих моделей на бенчах.
Архитектура практически идентична LLaMa. Единственное исключение - MoE версия, но про её архитектуру, я уже рассказывал, с тех пор она мало изменилась.
У всех моделей, кроме старшей, лицензия Apache 2.0. У 72B своя лицензия, похожая на лицензию ламы. Отличия: нет требования в тюнах указывать название оригинала и нижняя планка MAU, при которой необходимо получать лицензию - это 100 миллионов пользователей, а не 700 миллионов, как у ламы.
Идёт в 5 размерах: ➖0.5B - работает в браузере, 32k контекста, ➖1.5B - 32k контекста, ➖7B - 128k контекста, ➖57B-A14B - MoE версия для дешёвого инференса, 64k контекста ➖72B - 128k контекста.
72B модель обгоняет LLaMa 3 на бенчмарках, но на арене от неё отстаёт во всём кроме китайского. Остальные модели по бенчмарках лидеры в своих весовых категориях, но и по поводу них есть сомнения, авторы Qwen ранее были замечены в тренировке своих моделей на бенчах.
Архитектура практически идентична LLaMa. Единственное исключение - MoE версия, но про её архитектуру, я уже рассказывал, с тех пор она мало изменилась.
У всех моделей, кроме старшей, лицензия Apache 2.0. У 72B своя лицензия, похожая на лицензию ламы. Отличия: нет требования в тюнах указывать название оригинала и нижняя планка MAU, при которой необходимо получать лицензию - это 100 миллионов пользователей, а не 700 миллионов, как у ламы.
Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." Telegram boasts 500 million users, who share information individually and in groups in relative security. But Telegram's use as a one-way broadcast channel — which followers can join but not reply to — means content from inauthentic accounts can easily reach large, captive and eager audiences. Russian President Vladimir Putin launched Russia's invasion of Ukraine in the early-morning hours of February 24, targeting several key cities with military strikes. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers. The next bit isn’t clear, but Durov reportedly claimed that his resignation, dated March 21st, was an April Fools’ prank. TechCrunch implies that it was a matter of principle, but it’s hard to be clear on the wheres, whos and whys. Similarly, on April 17th, the Moscow Times quoted Durov as saying that he quit the company after being pressured to reveal account details about Ukrainians protesting the then-president Viktor Yanukovych.
from de
