Обгоняет все открытые модельки на большинстве бенчмарков, в том числе опубликованный неделю назад Grok (который в два раза больше). Лицензия похожая на лицензию ламы - все кто меньше телеграма могут спокойно использовать в своих коммерческих продуктах.
Архитектурно это Mixture of Experts (16 экспертов, из них 4 активных), 132 миллиарда параметров (из них 36 миллиардов - активные), тренировали пару месяцев на 3 тысячах H100 и 12 триллионах токенов, длина контекста - 32к, Модель тренировали в fp8, что дало 1.4x-1.5x прирост по сравнению с bf16. В целом она тренируется при том же компьюте в 4 раза эффективнее чем их же прошлогодняя MPT - 2x прироста идёт от MoE, 2x от датасета получше.
В минимальных требованиях - 320 гигабайт видеопамяти, что недоступно для простых смертных.
Обгоняет все открытые модельки на большинстве бенчмарков, в том числе опубликованный неделю назад Grok (который в два раза больше). Лицензия похожая на лицензию ламы - все кто меньше телеграма могут спокойно использовать в своих коммерческих продуктах.
Архитектурно это Mixture of Experts (16 экспертов, из них 4 активных), 132 миллиарда параметров (из них 36 миллиардов - активные), тренировали пару месяцев на 3 тысячах H100 и 12 триллионах токенов, длина контекста - 32к, Модель тренировали в fp8, что дало 1.4x-1.5x прирост по сравнению с bf16. В целом она тренируется при том же компьюте в 4 раза эффективнее чем их же прошлогодняя MPT - 2x прироста идёт от MoE, 2x от датасета получше.
В минимальных требованиях - 320 гигабайт видеопамяти, что недоступно для простых смертных.
Right now the digital security needs of Russians and Ukrainians are very different, and they lead to very different caveats about how to mitigate the risks associated with using Telegram. For Ukrainians in Ukraine, whose physical safety is at risk because they are in a war zone, digital security is probably not their highest priority. They may value access to news and communication with their loved ones over making sure that all of their communications are encrypted in such a manner that they are indecipherable to Telegram, its employees, or governments with court orders. Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." Overall, extreme levels of fear in the market seems to have morphed into something more resembling concern. For example, the Cboe Volatility Index fell from its 2022 peak of 36, which it hit Monday, to around 30 on Friday, a sign of easing tensions. Meanwhile, while the price of WTI crude oil slipped from Sunday’s multiyear high $130 of barrel to $109 a pop. Markets have been expecting heavy restrictions on Russian oil, some of which the U.S. has already imposed, and that would reduce the global supply and bring about even more burdensome inflation. Recently, Durav wrote on his Telegram channel that users' right to privacy, in light of the war in Ukraine, is "sacred, now more than ever." During the operations, Sebi officials seized various records and documents, including 34 mobile phones, six laptops, four desktops, four tablets, two hard drive disks and one pen drive from the custody of these persons.
from pl
