Notice: file_put_contents(): Write of 13081 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50
Kali Novskaya | Telegram Webview: rybolos_channel/1329 -
Telegram Group & Telegram Channel
🌸FineWeb 2: скСйлим CommonCrawl Π½Π° 1000+ языков 🌸
#nlp #ΠΏΡ€ΠΎ_nlp

Huggingface, ΠΊΠ°ΠΊ ΠΈ ΠΎΠ±Π΅Ρ‰Π°Π»ΠΈ, выпустили ΠΌΠ½ΠΎΠ³ΠΎΡΠ·Ρ‹Ρ‡Π½ΡƒΡŽ Π²Π΅Ρ€ΡΠΈΡŽ корпуса FineWeb Π½Π° 1000+ языков!

ΠšΠΎΡ€ΠΏΡƒΡ содСрТит 1893 ΠΏΠ°Ρ€Ρ‹ язык-ΠΏΠΈΡΡŒΠΌΠ΅Π½Π½ΠΎΡΡ‚ΡŒ (это Π·Π½Π°Ρ‡ΠΈΡ‚, Ρ‡Ρ‚ΠΎ для Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… языков Π΅ΡΡ‚ΡŒ нСсколько ΠΏΠΈΡΡŒΠΌΠ΅Π½Π½ΠΎΡΡ‚Π΅ΠΉ), ΠΈ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ 8Π’Π± Π² сТатом Π²ΠΈΠ΄Π΅ ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ 3 Ρ‚Ρ€Π»Π½ слов.

ΠšΠΎΡ€ΠΏΡƒΡ Π½Π΅ содСрТит английского ΠΈ являСтся многоязычным Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ΠΌ для обучСния ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

РаспрСдСлСниС языков, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ, Π½Π΅ Ρ€Π°Π²Π½ΠΎΠΌΠ΅Ρ€Π½ΠΎΠ΅, поэтому 80 Ρ‚ΠΎΠΏ языков ΠΈΠΌΠ΅ΡŽΡ‚ 1Π“Π±+ Π΄Π°Π½Π½Ρ‹Ρ…, Π° хвост ΠΈΠ· послСдних 486 β€” мСньшС 1Мб.
ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ ΠΏΠΎ ΠΎΠ±ΡŠΡ‘ΠΌΡƒ β€” русский язык!

Π’ΠΎΡ‚ ΠΊΠ°ΠΊ Π½ΡƒΠΆΠ½ΠΎ Π΄Π΅Π»Π°Ρ‚ΡŒ многоязычныС корпуса:

🟣Полная Π²ΠΎΡΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ: ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ сбора ΠΈ очистки Π΄Π°Π½Π½Ρ‹Ρ… Π² ΠΎΠΏΠ΅Π½ сорсС ΠΏΠΎΠ΄ Apache 2.0

🟣 ВСрифицируСмая ΠΏΠΎΠ»Π΅Π·Π½ΠΎΡΡ‚ΡŒ для обучСния: Π½Π° ΠΏΠΎΠ΄Π²Ρ‹Π±ΠΎΡ€ΠΊΠ΅ ΠΈΠ· 90+ Π·Π°Π΄Π°Ρ‡ FineTasks ΠΏΠΎΠΊΠ°Π·Π°Π½ ΠΌΠΎΠ½ΠΎΡ‚ΠΎΠ½Π½Ρ‹ΠΉ рост ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ Ρƒ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ

πŸŸ£Π›ΠΈΡ†Π΅Π½Π·ΠΈΡ: ODC-By 1.0 license β€” Π½Π΅ совсСм стандартная лицСнзия, Π½ΠΎ позвляСт ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ корпус для коммСрчСских ΠΈ нСкоммСрчСскиз Ρ†Π΅Π»Π΅ΠΉ ΠΏΡ€ΠΈ ΡƒΠΊΠ°Π·Π°Π½ΠΈΠΈ использованиС корпуса.

🟣HF dataset
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/rybolos_channel/1329
Create:
Last Update:

🌸FineWeb 2: скСйлим CommonCrawl Π½Π° 1000+ языков 🌸
#nlp #ΠΏΡ€ΠΎ_nlp

Huggingface, ΠΊΠ°ΠΊ ΠΈ ΠΎΠ±Π΅Ρ‰Π°Π»ΠΈ, выпустили ΠΌΠ½ΠΎΠ³ΠΎΡΠ·Ρ‹Ρ‡Π½ΡƒΡŽ Π²Π΅Ρ€ΡΠΈΡŽ корпуса FineWeb Π½Π° 1000+ языков!

ΠšΠΎΡ€ΠΏΡƒΡ содСрТит 1893 ΠΏΠ°Ρ€Ρ‹ язык-ΠΏΠΈΡΡŒΠΌΠ΅Π½Π½ΠΎΡΡ‚ΡŒ (это Π·Π½Π°Ρ‡ΠΈΡ‚, Ρ‡Ρ‚ΠΎ для Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… языков Π΅ΡΡ‚ΡŒ нСсколько ΠΏΠΈΡΡŒΠΌΠ΅Π½Π½ΠΎΡΡ‚Π΅ΠΉ), ΠΈ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ 8Π’Π± Π² сТатом Π²ΠΈΠ΄Π΅ ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ 3 Ρ‚Ρ€Π»Π½ слов.

ΠšΠΎΡ€ΠΏΡƒΡ Π½Π΅ содСрТит английского ΠΈ являСтся многоязычным Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ΠΌ для обучСния ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

РаспрСдСлСниС языков, ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎ, Π½Π΅ Ρ€Π°Π²Π½ΠΎΠΌΠ΅Ρ€Π½ΠΎΠ΅, поэтому 80 Ρ‚ΠΎΠΏ языков ΠΈΠΌΠ΅ΡŽΡ‚ 1Π“Π±+ Π΄Π°Π½Π½Ρ‹Ρ…, Π° хвост ΠΈΠ· послСдних 486 β€” мСньшС 1Мб.
ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ ΠΏΠΎ ΠΎΠ±ΡŠΡ‘ΠΌΡƒ β€” русский язык!

Π’ΠΎΡ‚ ΠΊΠ°ΠΊ Π½ΡƒΠΆΠ½ΠΎ Π΄Π΅Π»Π°Ρ‚ΡŒ многоязычныС корпуса:

🟣Полная Π²ΠΎΡΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ: ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ сбора ΠΈ очистки Π΄Π°Π½Π½Ρ‹Ρ… Π² ΠΎΠΏΠ΅Π½ сорсС ΠΏΠΎΠ΄ Apache 2.0

🟣 ВСрифицируСмая ΠΏΠΎΠ»Π΅Π·Π½ΠΎΡΡ‚ΡŒ для обучСния: Π½Π° ΠΏΠΎΠ΄Π²Ρ‹Π±ΠΎΡ€ΠΊΠ΅ ΠΈΠ· 90+ Π·Π°Π΄Π°Ρ‡ FineTasks ΠΏΠΎΠΊΠ°Π·Π°Π½ ΠΌΠΎΠ½ΠΎΡ‚ΠΎΠ½Π½Ρ‹ΠΉ рост ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ Ρƒ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ

πŸŸ£Π›ΠΈΡ†Π΅Π½Π·ΠΈΡ: ODC-By 1.0 license β€” Π½Π΅ совсСм стандартная лицСнзия, Π½ΠΎ позвляСт ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ корпус для коммСрчСских ΠΈ нСкоммСрчСскиз Ρ†Π΅Π»Π΅ΠΉ ΠΏΡ€ΠΈ ΡƒΠΊΠ°Π·Π°Π½ΠΈΠΈ использованиС корпуса.

🟣HF dataset

BY Kali Novskaya





Share with your friend now:
group-telegram.com/rybolos_channel/1329

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

One thing that Telegram now offers to all users is the ability to β€œdisappear” messages or set remote deletion deadlines. That enables users to have much more control over how long people can access what you’re sending them. Given that Russian law enforcement officials are reportedly (via Insider) stopping people in the street and demanding to read their text messages, this could be vital to protect individuals from reprisals. "We as Ukrainians believe that the truth is on our side, whether it's truth that you're proclaiming about the war and everything else, why would you want to hide it?," he said. "Like the bombing of the maternity ward in Mariupol," he said, "Even before it hits the news, you see the videos on the Telegram channels." For Oleksandra Tsekhanovska, head of the Hybrid Warfare Analytical Group at the Kyiv-based Ukraine Crisis Media Center, the effects are both near- and far-reaching. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers.
from tw


Telegram Kali Novskaya
FROM American