Курилка Яндекса

В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети

Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.

Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.

Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.

www.group-telegram.com/us/kurilka_yandex.com/78

312 viewsDec 9 at 15:10

В Yandex Research создали опенсорс-проект для сокращения расходов на нейросети

Исследователь из научного отдела «Яндекса» Владимир Малиновский разработал сервис для запуска большой языковой модели с 8 миллиардами параметров на обычном компьютере или смартфоне — через интерфейс любого браузера. Исходный код проекта исследователь опубликовал в свободном доступе на GitHub.

Перенести все вычисления на устройство и отказаться от использования дорогостоящих мощных графических процессоров удалось с помощью технологии сжатия нейросетей AQLM, которую разработала команда Yandex Research с исследователями из университетов ISTA и KAUST летом. Протестировать проект можно по ссылке. Когда пользователь открывает платформу, на его устройство из облака можно загрузить модель Llama3.1-8B. Её размер уменьшен в 6 раз — она весит всего 2,5 ГБ. После загрузки она может работать даже без интернета. Скорость ответов зависит от производительности устройства.

Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера. Такой подход может значительно сократить расходы корпораций, стартапов и исследователей на вычислительные мощности, что сделает разработку и использование LLM дешевле. Кроме того, подобными инициативами «Яндекс» демонстрирует открытость и вносит отдельный вклад в развитие международного технологического сообщества.

BY Курилка Яндекса