Kali Novskaya | Telegram Webview: rybolos_channel/1329 -

Telegram Group & Telegram Channel

🌸FineWeb 2: скейлим CommonCrawl на 1000+ языков 🌸
#nlp #про_nlp

Huggingface, как и обещали, выпустили многоязычную версию корпуса FineWeb на 1000+ языков!

Корпус содержит 1893 пары язык-письменность (это значит, что для некоторых языков есть несколько письменностей), и занимает 8Тб в сжатом виде и примерно 3 трлн слов.

Корпус не содержит английского и является многоязычным дополнением для обучения моделей.

Распределение языков, конечно, не равномерное, поэтому 80 топ языков имеют 1Гб+ данных, а хвост из последних 486 — меньше 1Мб.
Первый по объёму — русский язык!

Вот как нужно делать многоязычные корпуса:

🟣Полная воспроизводимость: пайплайн сбора и очистки данных в опен сорсе под Apache 2.0

🟣 Верифицируемая полезность для обучения: на подвыборке из 90+ задач FineTasks показан монотонный рост метрик у моделей

🟣Лицензия: ODC-By 1.0 license — не совсем стандартная лицензия, но позвляет использовать корпус для коммерческих и некоммерческиз целей при указании использование корпуса.

🟣

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/it/rybolos_channel.com/1329

12.3K viewsDec 9 at 16:44

group-telegram.com/rybolos_channel/1329

Create: 2024-12-09
Last Update: 2025-02-24 13:12:56

🌸FineWeb 2: скейлим CommonCrawl на 1000+ языков 🌸
#nlp #про_nlp

Huggingface, как и обещали, выпустили многоязычную версию корпуса FineWeb на 1000+ языков!

Корпус содержит 1893 пары язык-письменность (это значит, что для некоторых языков есть несколько письменностей), и занимает 8Тб в сжатом виде и примерно 3 трлн слов.

Корпус не содержит английского и является многоязычным дополнением для обучения моделей.

Распределение языков, конечно, не равномерное, поэтому 80 топ языков имеют 1Гб+ данных, а хвост из последних 486 — меньше 1Мб.
Первый по объёму — русский язык!

Вот как нужно делать многоязычные корпуса:

🟣Полная воспроизводимость: пайплайн сбора и очистки данных в опен сорсе под Apache 2.0

🟣 Верифицируемая полезность для обучения: на подвыборке из 90+ задач FineTasks показан монотонный рост метрик у моделей

🟣Лицензия: ODC-By 1.0 license — не совсем стандартная лицензия, но позвляет использовать корпус для коммерческих и некоммерческиз целей при указании использование корпуса.

🟣HF dataset

BY Kali Novskaya

Share with your friend now:
group-telegram.com/rybolos_channel/1329

Open in Telegram

Telegram | DID YOU KNOW?

Date: 2025-02-24|

Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups. The picture was mixed overseas. Hong Kong’s Hang Seng Index fell 1.6%, under pressure from U.S. regulatory scrutiny on New York-listed Chinese companies. Stocks were more buoyant in Europe, where Frankfurt’s DAX surged 1.4%. Oleksandra Matviichuk, a Kyiv-based lawyer and head of the Center for Civil Liberties, called Durov’s position "very weak," and urged concrete improvements. Ukrainian forces have since put up a strong resistance to the Russian troops amid the war that has left hundreds of Ukrainian civilians, including children, dead, according to the United Nations. Ukrainian and international officials have accused Russia of targeting civilian populations with shelling and bombardments. The original Telegram channel has expanded into a web of accounts for different locations, including specific pages made for individual Russian cities. There's also an English-language website, which states it is owned by the people who run the Telegram channels.
from it

Telegram Kali Novskaya
FROM American