В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети
Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.
Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.
Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.
В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети
Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.
Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.
Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.
BY Курилка Яндекса
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers. Either way, Durov says that he withdrew his resignation but that he was ousted from his company anyway. Subsequently, control of the company was reportedly handed to oligarchs Alisher Usmanov and Igor Sechin, both allegedly close associates of Russian leader Vladimir Putin. On February 27th, Durov posted that Channels were becoming a source of unverified information and that the company lacks the ability to check on their veracity. He urged users to be mistrustful of the things shared on Channels, and initially threatened to block the feature in the countries involved for the length of the war, saying that he didn’t want Telegram to be used to aggravate conflict or incite ethnic hatred. He did, however, walk back this plan when it became clear that they had also become a vital communications tool for Ukrainian officials and citizens to help coordinate their resistance and evacuations. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands.
from us
