Наука. Президентская академия

🙂🙂🙂🙂🙂🙂🙂
Открытый научный семинар Исследовательского центра искусственного интеллекта Президентской академии

Что обсудим?

1️⃣ «TrustGen: бенчмарк оценки доверенности LLM в задачах русского языка»

Большие языковые модели (LLM) все чаще используются в автономных агентах и ​​многоагентных системах для решения сложных задач, что делает их надежность критически важной проблемой. Однако большинство существующих бенчмарков сосредоточены на английском языке, что ограничивает их актуальность для других языков, особенно русского. Команда ИЦИИ представляет TrustGEN, первый бенчмарк для оценки доверенности LLM в задачах на русском языке, оценивая шесть измерений: правдивость, безопасность, справедливость, надежность, конфиденциальность и этика. Также в докладе будут рассмотрены результаты тестирования и актуальные проблемы оценки русскоязычных моделей.
🎤 Докладчик – Егор Аничков, эксперт ИЦИИ Академии.

2️⃣ «SLAVA: бенчмарк социально-политическиого ландшафта и ценностного анализа»

Не смотря на существование множества фактологических бенчмарков, лишь немногие оценивают знания больших языковых моделей в русскоязычном домене, а особенно - в области гуманитарных знаний. Особый интерес представляет оценка ответов LLM на спорные или деликатные темы. Для решения этих проблем, команда ИЦИИ разработала бенчмарк SLAVA, включающий четырнадцать тысяч вопросов в русскоязычной области, охватывающих различные области гуманитарных знаний (история, обществознание, география, политологи), каждый вопрос которого оценивался по шкале чувствительности, отражающей отношение респондента к тематике вопроса. В докладе будут рассмотрены результаты тестирования бенчмарка на 42 современных LLM.
🎤 Докладчик – Марина Полукошко, руководитель ЛИА ИЦИИ Академии.

3️⃣ Искусственный интеллект в анализе научных текстов: выявление ключевых инновационных идей.

4️⃣ Эволюция этических дилемм: анализ литературных источников разных эпох с использованием больших языковых моделей.

🙂 19 февраля в 19:00.

📍 256 аудитория, 2 корпус, 2 этаж.
Онлайн-трансляция по ссылке.

@ranepa_expertise
#Академия_Наука

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/us/ranepa_science.com/968

307 viewsFeb 18 at 13:03

🙂🙂🙂🙂🙂🙂🙂
Открытый научный семинар Исследовательского центра искусственного интеллекта Президентской академии

Что обсудим?

1️⃣ «TrustGen: бенчмарк оценки доверенности LLM в задачах русского языка»

Большие языковые модели (LLM) все чаще используются в автономных агентах и ​​многоагентных системах для решения сложных задач, что делает их надежность критически важной проблемой. Однако большинство существующих бенчмарков сосредоточены на английском языке, что ограничивает их актуальность для других языков, особенно русского. Команда ИЦИИ представляет TrustGEN, первый бенчмарк для оценки доверенности LLM в задачах на русском языке, оценивая шесть измерений: правдивость, безопасность, справедливость, надежность, конфиденциальность и этика. Также в докладе будут рассмотрены результаты тестирования и актуальные проблемы оценки русскоязычных моделей.
🎤 Докладчик – Егор Аничков, эксперт ИЦИИ Академии.

2️⃣ «SLAVA: бенчмарк социально-политическиого ландшафта и ценностного анализа»

Не смотря на существование множества фактологических бенчмарков, лишь немногие оценивают знания больших языковых моделей в русскоязычном домене, а особенно - в области гуманитарных знаний. Особый интерес представляет оценка ответов LLM на спорные или деликатные темы. Для решения этих проблем, команда ИЦИИ разработала бенчмарк SLAVA, включающий четырнадцать тысяч вопросов в русскоязычной области, охватывающих различные области гуманитарных знаний (история, обществознание, география, политологи), каждый вопрос которого оценивался по шкале чувствительности, отражающей отношение респондента к тематике вопроса. В докладе будут рассмотрены результаты тестирования бенчмарка на 42 современных LLM.
🎤 Докладчик – Марина Полукошко, руководитель ЛИА ИЦИИ Академии.

3️⃣ Искусственный интеллект в анализе научных текстов: выявление ключевых инновационных идей.

4️⃣ Эволюция этических дилемм: анализ литературных источников разных эпох с использованием больших языковых моделей.

🙂 19 февраля в 19:00.

📍 256 аудитория, 2 корпус, 2 этаж.
Онлайн-трансляция по ссылке.

@ranepa_expertise
#Академия_Наука