Love. Death. Transformers.

[пост был удалён]

Вихрь - семейство русификацированных моделей (flan т5 240м, flan т5 3В, mistral 7B) как основы.


Все имеют адаптированный под русский токенйазер, подучены на хабре, а т5 ещё и на переведенной open orca.

Все модели учились с дистиляционным лоссом, те просадка относительно оригиной модели минимальная, но деньги кончились и инструкт версию для mistral мы не доделали, возможно позже.

По метрикам ВОЗМОЖНО лучше чем закрытые модели Яндекса и Сбера, но точными цифрами сложно оперировать, я не уверен в русских бенчах, а saiga sbs руки не дошли поставить.

Возможно позже.


Sentence версия т5 не полетела, энкодер от flan сопоставим с энкодером Fred T5 xl.

Если у вас есть архитектура где используется flant5 xl и хочется поддерживать русский - можно смело подсунуть этот флан. Встанет как влитой.


Подробности в статье на хабре на следующей неделе.


Huggingface

Релизнули с @nadlskom @den4ikresearch(ft flan на saiga как early bird, выйдет позже )

www.group-telegram.com/us/lovedeathtransformers.com/6919

31.5K viewsedited  Jan 11, 2024 at 08:15

[пост был удалён]

Вихрь - семейство русификацированных моделей (flan т5 240м, flan т5 3В, mistral 7B) как основы.


Все имеют адаптированный под русский токенйазер, подучены на хабре, а т5 ещё и на переведенной open orca.

Все модели учились с дистиляционным лоссом, те просадка относительно оригиной модели минимальная, но деньги кончились и инструкт версию для mistral мы не доделали, возможно позже.

По метрикам ВОЗМОЖНО лучше чем закрытые модели Яндекса и Сбера, но точными цифрами сложно оперировать, я не уверен в русских бенчах, а saiga sbs руки не дошли поставить.

Возможно позже.


Sentence версия т5 не полетела, энкодер от flan сопоставим с энкодером Fred T5 xl.

Если у вас есть архитектура где используется flant5 xl и хочется поддерживать русский - можно смело подсунуть этот флан. Встанет как влитой.


Подробности в статье на хабре на следующей неделе.


Huggingface

Релизнули с @nadlskom @den4ikresearch(ft flan на saiga как early bird, выйдет позже )

BY Love. Death. Transformers.