Notice: file_put_contents(): Write of 4861 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50

Warning: file_put_contents(): Only 4096 of 8957 bytes written, possibly out of free disk space in /var/www/group-telegram/post.php on line 50
Data Secrets | Telegram Webview: data_secrets/5804 -
Telegram Group & Telegram Channel
Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath

Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.

В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.

P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)



group-telegram.com/data_secrets/5804
Create:
Last Update:

Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath

Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.

В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.

P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)

BY Data Secrets




Share with your friend now:
group-telegram.com/data_secrets/5804

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Founder Pavel Durov says tech is meant to set you free 'Wild West' Just days after Russia invaded Ukraine, Durov wrote that Telegram was "increasingly becoming a source of unverified information," and he worried about the app being used to "incite ethnic hatred." The regulator said it has been undertaking several campaigns to educate the investors to be vigilant while taking investment decisions based on stock tips. "He has kind of an old-school cyber-libertarian world view where technology is there to set you free," Maréchal said.
from us


Telegram Data Secrets
FROM American