Нецифровая экономика

🤖 Сбер выложил под лицензией MIT весь код и веса моделей GigaChat Lite и GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.

Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.

✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.

Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!

Please open Telegram to view this post

VIEW IN TELEGRAM

Хабр

Сбер выкладывает GigaChat Lite в открытый доступ

Салют, Хабр! В начале ноября мы делились с вами новостями о нашем флагмане GigaChat MAX и пообещали рассказать подробнее о процессе создания наших Pretrain-моделей. Пришло время сдержать слово и даже...

www.group-telegram.com/hk/antidigital.com/8685

7.1K viewsИлья Склюев, edited  Dec 13 at 18:20

🤖 Сбер выложил под лицензией MIT весь код и веса моделей GigaChat Lite и GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.

Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.

✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.

Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!