В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети
Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.
Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.
Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.
В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети
Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.
Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.
Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.
BY Курилка Яндекса
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Apparently upbeat developments in Russia's discussions with Ukraine helped at least temporarily send investors back into risk assets. Russian President Vladimir Putin said during a meeting with his Belarusian counterpart Alexander Lukashenko that there were "certain positive developments" occurring in the talks with Ukraine, according to a transcript of their meeting. Putin added that discussions were happening "almost on a daily basis." The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform. Anastasia Vlasova/Getty Images "We as Ukrainians believe that the truth is on our side, whether it's truth that you're proclaiming about the war and everything else, why would you want to hide it?," he said. This ability to mix the public and the private, as well as the ability to use bots to engage with users has proved to be problematic. In early 2021, a database selling phone numbers pulled from Facebook was selling numbers for $20 per lookup. Similarly, security researchers found a network of deepfake bots on the platform that were generating images of people submitted by users to create non-consensual imagery, some of which involved children.
from br
