Kali Novskaya | Telegram Webview: rybolos_channel/1329 -

Telegram Group & Telegram Channel

🌸FineWeb 2: скейлим CommonCrawl на 1000+ языков 🌸
#nlp #про_nlp

Huggingface, как и обещали, выпустили многоязычную версию корпуса FineWeb на 1000+ языков!

Корпус содержит 1893 пары язык-письменность (это значит, что для некоторых языков есть несколько письменностей), и занимает 8Тб в сжатом виде и примерно 3 трлн слов.

Корпус не содержит английского и является многоязычным дополнением для обучения моделей.

Распределение языков, конечно, не равномерное, поэтому 80 топ языков имеют 1Гб+ данных, а хвост из последних 486 — меньше 1Мб.
Первый по объёму — русский язык!

Вот как нужно делать многоязычные корпуса:

🟣Полная воспроизводимость: пайплайн сбора и очистки данных в опен сорсе под Apache 2.0

🟣 Верифицируемая полезность для обучения: на подвыборке из 90+ задач FineTasks показан монотонный рост метрик у моделей

🟣Лицензия: ODC-By 1.0 license — не совсем стандартная лицензия, но позвляет использовать корпус для коммерческих и некоммерческиз целей при указании использование корпуса.

🟣

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/es/rybolos_channel.com/1329

10.0K viewsDec 9 at 16:44

group-telegram.com/rybolos_channel/1329

Create: 2024-12-09
Last Update: 2024-12-24 13:14:16

🌸FineWeb 2: скейлим CommonCrawl на 1000+ языков 🌸
#nlp #про_nlp

Huggingface, как и обещали, выпустили многоязычную версию корпуса FineWeb на 1000+ языков!

Корпус содержит 1893 пары язык-письменность (это значит, что для некоторых языков есть несколько письменностей), и занимает 8Тб в сжатом виде и примерно 3 трлн слов.

Корпус не содержит английского и является многоязычным дополнением для обучения моделей.

Распределение языков, конечно, не равномерное, поэтому 80 топ языков имеют 1Гб+ данных, а хвост из последних 486 — меньше 1Мб.
Первый по объёму — русский язык!

Вот как нужно делать многоязычные корпуса:

🟣Полная воспроизводимость: пайплайн сбора и очистки данных в опен сорсе под Apache 2.0

🟣 Верифицируемая полезность для обучения: на подвыборке из 90+ задач FineTasks показан монотонный рост метрик у моделей

🟣Лицензия: ODC-By 1.0 license — не совсем стандартная лицензия, но позвляет использовать корпус для коммерческих и некоммерческиз целей при указании использование корпуса.

🟣HF dataset

BY Kali Novskaya

Share with your friend now:
group-telegram.com/rybolos_channel/1329

Open in Telegram

Telegram | DID YOU KNOW?

Date: 2024-12-24|

In a message on his Telegram channel recently recounting the episode, Durov wrote: "I lost my company and my home, but would do it again – without hesitation." Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website. Unlike Silicon Valley giants such as Facebook and Twitter, which run very public anti-disinformation programs, Brooking said: "Telegram is famously lax or absent in its content moderation policy." Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips.
from es

Telegram Kali Novskaya
FROM American