В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
В декабре мы зарелизили две open-source-модели на 7 и 32 миллиарда параметров T-Lite и T-Pro. Общие характеристики и результаты бенчмарков описывали в этом посте и отвечали на ваши вопросы в подкасте, а в этом посте делимся деталями предобучения.
Большинство языковых моделей учат в первую очередь на английском. В итоге они путают языки, теряют контекст и дают неестественные ответы. Мы решили исправить это и адаптировали одну из топовых LLM под русский язык, но без затрат на полное обучение с нуля.
💬 В карточках кратко рассказываем, как нам это удалось, а полный training report читайте на Хабре.
In a statement, the regulator said the search and seizure operation was carried out against seven individuals and one corporate entity at multiple locations in Ahmedabad and Bhavnagar in Gujarat, Neemuch in Madhya Pradesh, Delhi, and Mumbai. During the operations, Sebi officials seized various records and documents, including 34 mobile phones, six laptops, four desktops, four tablets, two hard drive disks and one pen drive from the custody of these persons. Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." Anastasia Vlasova/Getty Images In addition, Telegram now supports the use of third-party streaming tools like OBS Studio and XSplit to broadcast live video, allowing users to add overlays and multi-screen layouts for a more professional look.
from us
