Data Secrets ✔

Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath

Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.

В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.

P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)

❤34🔥12👍8🤗6

www.group-telegram.com/hk/data_secrets.com/5804

12.1K viewsDec 24, 2024 at 15:02

Hugging Face радуют релизами даже в празники: они выпустили большой качественный датасет по математике FineMath

Его составляли примерно также, как делали это DeepSeek для своей модели DeepSeekMath (а она очень, очень крута, подробный ее разбор тут). То есть брали CommonCrawl, обучали классификатор на аннотациях LLama-3.1-70B-Instruct и фильтровали математический контент.

В итоге получился очень приличный скейлинг. Посмотрите на график наверху: с ростом количества токенов для обучения точность модели растет заметно приятнее, чем на известных датасетах OpenWebMath и InfiMM. Это как раз за счет разнообразия и качества данных.

P.S. Какие-то любители уже даже обучили на FineMath собственного репетитора по математике (проект)

BY Data Secrets