Notice: file_put_contents(): Write of 8977 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50 эйай ньюз | Telegram Webview: ai_newz/1831 -
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же закрытому AI OpenAI у себя в закромах держать.
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit квантизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же закрытому AI OpenAI у себя в закромах держать.
One thing that Telegram now offers to all users is the ability to “disappear” messages or set remote deletion deadlines. That enables users to have much more control over how long people can access what you’re sending them. Given that Russian law enforcement officials are reportedly (via Insider) stopping people in the street and demanding to read their text messages, this could be vital to protect individuals from reprisals. Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." So, uh, whenever I hear about Telegram, it’s always in relation to something bad. What gives? Crude oil prices edged higher after tumbling on Thursday, when U.S. West Texas intermediate slid back below $110 per barrel after topping as much as $130 a barrel in recent sessions. Still, gas prices at the pump rose to fresh highs. Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations.
from sa
