🤖 Сбер выложил под лицензией MIT весь код и веса моделей
GigaChat Lite и
GigaEmbeddings-instruct. Первая LLM позиционируется как самая быстрая в семействе. А вторая отличается тем, что преобразует текст в числовые векторы, сохраняя всю ключевую информацию. Это позволяет
использовать её для интеллектуального поиска, систем RAG и других задач, связанных с обработкой текстов.
Отмечается, что GigaChat Lite основана на MoE-архитектуре и обучена специально под русский язык с нуля. Всего у модели 20 млрд параметров, но во время инференса задействовано только 3 млрд. Контекст модели =131k токенов. Версия instruct основана на lite.
✔️ Ранее исходники своих LLM успели опубликовать МТС и Т-Банк. Первая
выложила в паблик три версии Cotype Nano с 1,5 млрд параметров: основную, более компактную 4bit и CPU, оптимизированную под работу с процессорами Intel. У Т-Банка
вышло две модели: T-Pro с 32 млрд параметров и обновлённая T-Lite на 7 млрд.
Теперь Яндекс остаётся единственным из ИТ-гигантов, кто до сих пор не выложил ни одну версий своей LLM в открытый доступ. Ждём YandexGPT в опенсорсе!
