Разработчики YandexGPT рассказали, как замерили знание нейросетью культурного кода: системы знаков, традиций, норм и понятий, которые отличают одну группу людей от другой. Для российской культуры существуют специфические и характерные только ей явления, и их понимание важно для YandexGPT, поскольку он интегрирован в такие массовые продукты, как «Поиск» и «Алиса».
Чтобы протестировать нейросеть, разработчики сначала выбрали те аспекты и категории, которые будут использоваться в замере. Затем были сформулированы основные задачи на знание цитат, фразеологизмов, разговорных выражений и так далее. Всего бенчмарк включал 200 вопросов. Также были введены классификации вопросов по возрасту: для людей младше 30 лет и старше, а также для всех категорий. В результате получился бенчмарк на 2000 самых разнообразных вопросов. Они были предложены AI‑тренерам, всего в разметке приняли участие 211 человек, а каждый вопрос проходил через пять разных тренеров. При ответах на вопросы нельзя было искать информацию в интернете — чтобы было честно.
В результате скор у AI‑тренеров — 78 процентов правильных ответов, у YandexGPT Pro 4 – 63 процента. Предполагается, что у нейросети результат должен быть выше, чем у людей, ведь она многократно видела весь интернет и точно могла бы узнать и понять наш культурный код. Так что показатель станет основным ориентиром для дальнейшего развития сервиса: разработчики должны быть уверены, что нейросеть может создавать контент и генерировать ответы, которые будут понятны большинству пользователей разных поколений и социальных кругов.
Разработчики YandexGPT рассказали, как замерили знание нейросетью культурного кода: системы знаков, традиций, норм и понятий, которые отличают одну группу людей от другой. Для российской культуры существуют специфические и характерные только ей явления, и их понимание важно для YandexGPT, поскольку он интегрирован в такие массовые продукты, как «Поиск» и «Алиса».
Чтобы протестировать нейросеть, разработчики сначала выбрали те аспекты и категории, которые будут использоваться в замере. Затем были сформулированы основные задачи на знание цитат, фразеологизмов, разговорных выражений и так далее. Всего бенчмарк включал 200 вопросов. Также были введены классификации вопросов по возрасту: для людей младше 30 лет и старше, а также для всех категорий. В результате получился бенчмарк на 2000 самых разнообразных вопросов. Они были предложены AI‑тренерам, всего в разметке приняли участие 211 человек, а каждый вопрос проходил через пять разных тренеров. При ответах на вопросы нельзя было искать информацию в интернете — чтобы было честно.
В результате скор у AI‑тренеров — 78 процентов правильных ответов, у YandexGPT Pro 4 – 63 процента. Предполагается, что у нейросети результат должен быть выше, чем у людей, ведь она многократно видела весь интернет и точно могла бы узнать и понять наш культурный код. Так что показатель станет основным ориентиром для дальнейшего развития сервиса: разработчики должны быть уверены, что нейросеть может создавать контент и генерировать ответы, которые будут понятны большинству пользователей разных поколений и социальных кругов.
Stocks dropped on Friday afternoon, as gains made earlier in the day on hopes for diplomatic progress between Russia and Ukraine turned to losses. Technology stocks were hit particularly hard by higher bond yields. Official government accounts have also spread fake fact checks. An official Twitter account for the Russia diplomatic mission in Geneva shared a fake debunking video claiming without evidence that "Western and Ukrainian media are creating thousands of fake news on Russia every day." The video, which has amassed almost 30,000 views, offered a "how-to" spot misinformation. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website. If you initiate a Secret Chat, however, then these communications are end-to-end encrypted and are tied to the device you are using. That means it’s less convenient to access them across multiple platforms, but you are at far less risk of snooping. Back in the day, Secret Chats received some praise from the EFF, but the fact that its standard system isn’t as secure earned it some criticism. If you’re looking for something that is considered more reliable by privacy advocates, then Signal is the EFF’s preferred platform, although that too is not without some caveats. Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp.
from us
