Telegram Group & Telegram Channel
🤖 Сбер выложил под лицензией MIT весь код и веса моделей GigaChat Lite и GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.

Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.

✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.

Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/antidigital/8685
Create:
Last Update:

🤖 Сбер выложил под лицензией MIT весь код и веса моделей GigaChat Lite и GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.

Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.

✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.

Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!

BY Нецифровая экономика




Share with your friend now:
group-telegram.com/antidigital/8685

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Telegram was founded in 2013 by two Russian brothers, Nikolai and Pavel Durov. So, uh, whenever I hear about Telegram, it’s always in relation to something bad. What gives? WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. The regulator said it has been undertaking several campaigns to educate the investors to be vigilant while taking investment decisions based on stock tips. In addition, Telegram now supports the use of third-party streaming tools like OBS Studio and XSplit to broadcast live video, allowing users to add overlays and multi-screen layouts for a more professional look.
from jp


Telegram Нецифровая экономика
FROM American