Kali Novskaya

#nlp #про_nlp #ai_alignment
🌸Что такое SuperAlignment? Введение🌸

Вчера в блоге OpenAI появилась новая запись под авторством Ilya Sutskever и Jan Leike (Chief Scientist и Alignment team lead в OpenAI).

🟣Впервые вводится понятие superalignment — по сути alignment для AGI/superintelligence (к определениям просят не придираться).

Чем это отличается от уже вошедшего в обиход на словах, но мало вошедшего на практике обычного alignment?
Текущие практики упираются в проблему: все методы обучения ИИ "плохому и хорошему" основаны на существующих примерах, сформированных и подобранных людьми с целью воспроизведения суждений. Но как учить сущность, более умную, чем люди? Превосходящую интеллектуально хотя бы по некоторым параметрам.

Тезисы OpenAI:
🌸 задачу alignment хоть как-то хочется решить в течение 4 лет — это никак не "50 лет до наступления AGI"
🌸 решение должно быть автоматическим (отдельная модель), масштабируемым и подвергаемым полноценному стресс-тестированию, например, в симуляционных средах.
🌸 среди приоритетов в исследованиях: интерпретируемость таких моделей (почему принято то или иное решение?) и их способность обобщаться на разных ситуациях, анализ надежности систем, их согласованности и поиск противоречий.

🟣Пост: https://openai.com/blog/introducing-superalignment

Please open Telegram to view this post

VIEW IN TELEGRAM

Openai

Introducing Superalignment

We need scientific and technical breakthroughs to steer and control AI systems much smarter than us. To solve this problem within four years, we’re starting a new team, co-led by Ilya Sutskever and Jan Leike, and dedicating 20% of the compute we’ve secured…

www.group-telegram.com/id/rybolos_channel.com/750

17.0K viewsTatiana Shavrina, Jul 6, 2023 at 10:00

#nlp #про_nlp #ai_alignment
🌸Что такое SuperAlignment? Введение🌸

Вчера в блоге OpenAI появилась новая запись под авторством Ilya Sutskever и Jan Leike (Chief Scientist и Alignment team lead в OpenAI).

🟣Впервые вводится понятие superalignment — по сути alignment для AGI/superintelligence (к определениям просят не придираться).

Чем это отличается от уже вошедшего в обиход на словах, но мало вошедшего на практике обычного alignment?
Текущие практики упираются в проблему: все методы обучения ИИ "плохому и хорошему" основаны на существующих примерах, сформированных и подобранных людьми с целью воспроизведения суждений. Но как учить сущность, более умную, чем люди? Превосходящую интеллектуально хотя бы по некоторым параметрам.

Тезисы OpenAI:
🌸 задачу alignment хоть как-то хочется решить в течение 4 лет — это никак не "50 лет до наступления AGI"
🌸 решение должно быть автоматическим (отдельная модель), масштабируемым и подвергаемым полноценному стресс-тестированию, например, в симуляционных средах.
🌸 среди приоритетов в исследованиях: интерпретируемость таких моделей (почему принято то или иное решение?) и их способность обобщаться на разных ситуациях, анализ надежности систем, их согласованности и поиск противоречий.

🟣Пост: https://openai.com/blog/introducing-superalignment