Warning: mkdir(): No space left on device in /var/www/group-telegram/post.php on line 37
Warning: file_put_contents(aCache/aDaily/post/senior_augur/--): Failed to open stream: No such file or directory in /var/www/group-telegram/post.php on line 50 Старший Авгур | Telegram Webview: senior_augur/307 -
Ларчик с Вихрём Немо просто открывался. Рецепт оказался прост: трейн на тесте. Я недавно случайно обнаружил, что в GrandMaster-PRO-MAX лежит около 180 промптов и ответов на них из ru_arena_general. А их там всего 500, то есть больше трети примеров из тестов слиты в обучающую выборку. Вполне возможно, что это сделано не только в SFT, но и в SMPO фазе.
Код для проверки:
from datasets import load_dataset
examples = dict() for row in load_dataset("Vikhrmodels/ru-arena-general", split="train"): examples[row["turns"][0]["content"]] = 0
for row in load_dataset("Vikhrmodels/GrandMaster-PRO-MAX", split="train"): ex = row["conversation"][0]["content"] if ex in examples: examples[ex] = 1 print(sum(examples.values()))
Я решил поэкспериментировать и сделал то же самое в SFT. Получил +6 пунктов на арене. Справедливости ради, мне всё равно не удалось догнать Вихрь, но, вероятно, это решается доливом теста в SimPO.
Намеренно ли это было сделано? На 99% уверен, что нет. Делает ли это Вихрь Немо плохой моделью? Тоже нет. Но хорошо бы это увидеть в карточке модели, да и с арены модель убрать.
UPD: карточку обновили, там об этом теперь написано
Ларчик с Вихрём Немо просто открывался. Рецепт оказался прост: трейн на тесте. Я недавно случайно обнаружил, что в GrandMaster-PRO-MAX лежит около 180 промптов и ответов на них из ru_arena_general. А их там всего 500, то есть больше трети примеров из тестов слиты в обучающую выборку. Вполне возможно, что это сделано не только в SFT, но и в SMPO фазе.
Код для проверки:
from datasets import load_dataset
examples = dict() for row in load_dataset("Vikhrmodels/ru-arena-general", split="train"): examples[row["turns"][0]["content"]] = 0
for row in load_dataset("Vikhrmodels/GrandMaster-PRO-MAX", split="train"): ex = row["conversation"][0]["content"] if ex in examples: examples[ex] = 1 print(sum(examples.values()))
Я решил поэкспериментировать и сделал то же самое в SFT. Получил +6 пунктов на арене. Справедливости ради, мне всё равно не удалось догнать Вихрь, но, вероятно, это решается доливом теста в SimPO.
Намеренно ли это было сделано? На 99% уверен, что нет. Делает ли это Вихрь Немо плохой моделью? Тоже нет. Но хорошо бы это увидеть в карточке модели, да и с арены модель убрать.
UPD: карточку обновили, там об этом теперь написано
Oleksandra Matviichuk, a Kyiv-based lawyer and head of the Center for Civil Liberties, called Durov’s position "very weak," and urged concrete improvements. Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon." "For Telegram, accountability has always been a problem, which is why it was so popular even before the full-scale war with far-right extremists and terrorists from all over the world," she told AFP from her safe house outside the Ukrainian capital. Multiple pro-Kremlin media figures circulated the post's false claims, including prominent Russian journalist Vladimir Soloviev and the state-controlled Russian outlet RT, according to the DFR Lab's report.
from nl
