Курилка Яндекса

YandexGPT сдал тест на знание культурного кода

Разработчики YandexGPT рассказали, как замерили знание нейросетью культурного кода: системы знаков, традиций, норм и понятий, которые отличают одну группу людей от другой. Для российской культуры существуют специфические и характерные только ей явления, и их понимание важно для YandexGPT, поскольку он интегрирован в такие массовые продукты, как «Поиск» и «Алиса».

Чтобы протестировать нейросеть, разработчики сначала выбрали те аспекты и категории, которые будут использоваться в замере. Затем были сформулированы основные задачи на знание цитат, фразеологизмов, разговорных выражений и так далее. Всего бенчмарк включал 200 вопросов. Также были введены классификации вопросов по возрасту: для людей младше 30 лет и старше, а также для всех категорий. В результате получился бенчмарк на 2000 самых разнообразных вопросов. Они были предложены AI‑тренерам, всего в разметке приняли участие 211 человек, а каждый вопрос проходил через пять разных тренеров. При ответах на вопросы нельзя было искать информацию в интернете — чтобы было честно.

В результате скор у AI‑тренеров — 78 процентов правильных ответов, у YandexGPT Pro 4 – 63 процента. Предполагается, что у нейросети результат должен быть выше, чем у людей, ведь она многократно видела весь интернет и точно могла бы узнать и понять наш культурный код. Так что показатель станет основным ориентиром для дальнейшего развития сервиса: разработчики должны быть уверены, что нейросеть может создавать контент и генерировать ответы, которые будут понятны большинству пользователей разных поколений и социальных кругов.

www.group-telegram.com/ye/kurilka_yandex.com/106

81 viewsDec 23 at 16:29

YandexGPT сдал тест на знание культурного кода

Разработчики YandexGPT рассказали, как замерили знание нейросетью культурного кода: системы знаков, традиций, норм и понятий, которые отличают одну группу людей от другой. Для российской культуры существуют специфические и характерные только ей явления, и их понимание важно для YandexGPT, поскольку он интегрирован в такие массовые продукты, как «Поиск» и «Алиса».

Чтобы протестировать нейросеть, разработчики сначала выбрали те аспекты и категории, которые будут использоваться в замере. Затем были сформулированы основные задачи на знание цитат, фразеологизмов, разговорных выражений и так далее. Всего бенчмарк включал 200 вопросов. Также были введены классификации вопросов по возрасту: для людей младше 30 лет и старше, а также для всех категорий. В результате получился бенчмарк на 2000 самых разнообразных вопросов. Они были предложены AI‑тренерам, всего в разметке приняли участие 211 человек, а каждый вопрос проходил через пять разных тренеров. При ответах на вопросы нельзя было искать информацию в интернете — чтобы было честно.

В результате скор у AI‑тренеров — 78 процентов правильных ответов, у YandexGPT Pro 4 – 63 процента. Предполагается, что у нейросети результат должен быть выше, чем у людей, ведь она многократно видела весь интернет и точно могла бы узнать и понять наш культурный код. Так что показатель станет основным ориентиром для дальнейшего развития сервиса: разработчики должны быть уверены, что нейросеть может создавать контент и генерировать ответы, которые будут понятны большинству пользователей разных поколений и социальных кругов.

BY Курилка Яндекса