Авторы ChatBot Arena, хотят её (частично) автоматизовать
Кажется на бенчмарке Arena Hard v0.1 останавливаться не собираются, и поэтому авторы ChatBot Arena проводят Kaggle конкурс на reward модель для RLHF. Нужно обучить модель, которая будет предсказывать, какой ответ LLM будет предпочтен человеком. Такую модель можно будет использовать и для улучшения качества ответов существующих моделей и для оценки ответов моделей как альтернатива человеческим голосам.
Автоматизация для обучения LLM сейчас есть лишь частичная потому что человеческие аннотации всё ещё нужны: (а) для генерации синтетических данных (б) для оценки их качества (в) на последних стадиях тюна синтетику используют поменьше.
Участникам даётся датасет на 55к примеров. Каждый пример состоит из: запроса, ответа двух нейронок и предпочтения человека. Победителя будут определять на тестовом сете в 25к примеров.
На конкурс выделили призовой фонд в $100k, который распределяют вот так:
🥇$25,000 за первое место 🥈$20,000 за 2-4 места 🥉$15,000 за 5 место
Соревнования на Kaggle это очень хорошее место для развития и во многом повлияли на мою карьеру (я в своё время был топ-45 на платформе). Так что если хочешь участвовать - в комментах можно организоваться и найти себе команду
Авторы ChatBot Arena, хотят её (частично) автоматизовать
Кажется на бенчмарке Arena Hard v0.1 останавливаться не собираются, и поэтому авторы ChatBot Arena проводят Kaggle конкурс на reward модель для RLHF. Нужно обучить модель, которая будет предсказывать, какой ответ LLM будет предпочтен человеком. Такую модель можно будет использовать и для улучшения качества ответов существующих моделей и для оценки ответов моделей как альтернатива человеческим голосам.
Автоматизация для обучения LLM сейчас есть лишь частичная потому что человеческие аннотации всё ещё нужны: (а) для генерации синтетических данных (б) для оценки их качества (в) на последних стадиях тюна синтетику используют поменьше.
Участникам даётся датасет на 55к примеров. Каждый пример состоит из: запроса, ответа двух нейронок и предпочтения человека. Победителя будут определять на тестовом сете в 25к примеров.
На конкурс выделили призовой фонд в $100k, который распределяют вот так:
🥇$25,000 за первое место 🥈$20,000 за 2-4 места 🥉$15,000 за 5 место
Соревнования на Kaggle это очень хорошее место для развития и во многом повлияли на мою карьеру (я в своё время был топ-45 на платформе). Так что если хочешь участвовать - в комментах можно организоваться и найти себе команду
Anastasia Vlasova/Getty Images Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. "Someone posing as a Ukrainian citizen just joins the chat and starts spreading misinformation, or gathers data, like the location of shelters," Tsekhanovska said, noting how false messages have urged Ukrainians to turn off their phones at a specific time of night, citing cybersafety. Telegram Messenger Blocks Navalny Bot During Russian Election That hurt tech stocks. For the past few weeks, the 10-year yield has traded between 1.72% and 2%, as traders moved into the bond for safety when Russia headlines were ugly—and out of it when headlines improved. Now, the yield is touching its pandemic-era high. If the yield breaks above that level, that could signal that it’s on a sustainable path higher. Higher long-dated bond yields make future profits less valuable—and many tech companies are valued on the basis of profits forecast for many years in the future.
from fr
