Первый релиз — FlashMLA, Flash Attention для моделей DeepSeek. Дело в том, что модели DeepSeek используют свой отдельный тип аттеншна — Multi-head Latent Attention, которому нужно в разы меньше памяти на KV кэш, по сравнению с обычным Group Query Attention, что сильно удешевляет генерацию токенов.
Обратная сторона медали - существующие кастомные кернелы для инференса несовместимы с моделями DeepSeek, из-за чего приходится использовать более медленный торч. Быстрые кастомные кернелы для MLA означают более эффективный инференс у апи провайдеров, что часто перерастает в падение цен.
Обещают ещё четыре релиза на этой неделе, что именно релизнут - непонятно. Про всех них я напишу большой обзорный пост в конце недели.
Первый релиз — FlashMLA, Flash Attention для моделей DeepSeek. Дело в том, что модели DeepSeek используют свой отдельный тип аттеншна — Multi-head Latent Attention, которому нужно в разы меньше памяти на KV кэш, по сравнению с обычным Group Query Attention, что сильно удешевляет генерацию токенов.
Обратная сторона медали - существующие кастомные кернелы для инференса несовместимы с моделями DeepSeek, из-за чего приходится использовать более медленный торч. Быстрые кастомные кернелы для MLA означают более эффективный инференс у апи провайдеров, что часто перерастает в падение цен.
Обещают ещё четыре релиза на этой неделе, что именно релизнут - непонятно. Про всех них я напишу большой обзорный пост в конце недели.
One thing that Telegram now offers to all users is the ability to “disappear” messages or set remote deletion deadlines. That enables users to have much more control over how long people can access what you’re sending them. Given that Russian law enforcement officials are reportedly (via Insider) stopping people in the street and demanding to read their text messages, this could be vital to protect individuals from reprisals. At this point, however, Durov had already been working on Telegram with his brother, and further planned a mobile-first social network with an explicit focus on anti-censorship. Later in April, he told TechCrunch that he had left Russia and had “no plans to go back,” saying that the nation was currently “incompatible with internet business at the moment.” He added later that he was looking for a country that matched his libertarian ideals to base his next startup. Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment. Since January 2022, the SC has received a total of 47 complaints and enquiries on illegal investment schemes promoted through Telegram. These fraudulent schemes offer non-existent investment opportunities, promising very attractive and risk-free returns within a short span of time. They commonly offer unrealistic returns of as high as 1,000% within 24 hours or even within a few hours. Ukrainian forces successfully attacked Russian vehicles in the capital city of Kyiv thanks to a public tip made through the encrypted messaging app Telegram, Ukraine's top law-enforcement agency said on Tuesday.
from de
