#nlp #про_nlp #ai_alignment 🌸Что такое SuperAlignment? Введение🌸
Вчера в блоге OpenAI появилась новая запись под авторством Ilya Sutskever и Jan Leike (Chief Scientist и Alignment team lead в OpenAI).
🟣Впервые вводится понятие superalignment — по сути alignment для AGI/superintelligence (к определениям просят не придираться).
Чем это отличается от уже вошедшего в обиход на словах, но мало вошедшего на практике обычного alignment? Текущие практики упираются в проблему: все методы обучения ИИ "плохому и хорошему" основаны на существующих примерах, сформированных и подобранных людьми с целью воспроизведения суждений. Но как учить сущность, более умную, чем люди? Превосходящую интеллектуально хотя бы по некоторым параметрам.
Тезисы OpenAI: 🌸 задачу alignment хоть как-то хочется решить в течение 4 лет — это никак не "50 лет до наступления AGI" 🌸 решение должно быть автоматическим (отдельная модель), масштабируемым и подвергаемым полноценному стресс-тестированию, например, в симуляционных средах. 🌸 среди приоритетов в исследованиях: интерпретируемость таких моделей (почему принято то или иное решение?) и их способность обобщаться на разных ситуациях, анализ надежности систем, их согласованности и поиск противоречий.
#nlp #про_nlp #ai_alignment 🌸Что такое SuperAlignment? Введение🌸
Вчера в блоге OpenAI появилась новая запись под авторством Ilya Sutskever и Jan Leike (Chief Scientist и Alignment team lead в OpenAI).
🟣Впервые вводится понятие superalignment — по сути alignment для AGI/superintelligence (к определениям просят не придираться).
Чем это отличается от уже вошедшего в обиход на словах, но мало вошедшего на практике обычного alignment? Текущие практики упираются в проблему: все методы обучения ИИ "плохому и хорошему" основаны на существующих примерах, сформированных и подобранных людьми с целью воспроизведения суждений. Но как учить сущность, более умную, чем люди? Превосходящую интеллектуально хотя бы по некоторым параметрам.
Тезисы OpenAI: 🌸 задачу alignment хоть как-то хочется решить в течение 4 лет — это никак не "50 лет до наступления AGI" 🌸 решение должно быть автоматическим (отдельная модель), масштабируемым и подвергаемым полноценному стресс-тестированию, например, в симуляционных средах. 🌸 среди приоритетов в исследованиях: интерпретируемость таких моделей (почему принято то или иное решение?) и их способность обобщаться на разных ситуациях, анализ надежности систем, их согласованности и поиск противоречий.
He floated the idea of restricting the use of Telegram in Ukraine and Russia, a suggestion that was met with fierce opposition from users. Shortly after, Durov backed off the idea. On February 27th, Durov posted that Channels were becoming a source of unverified information and that the company lacks the ability to check on their veracity. He urged users to be mistrustful of the things shared on Channels, and initially threatened to block the feature in the countries involved for the length of the war, saying that he didn’t want Telegram to be used to aggravate conflict or incite ethnic hatred. He did, however, walk back this plan when it became clear that they had also become a vital communications tool for Ukrainian officials and citizens to help coordinate their resistance and evacuations. "This time we received the coordinates of enemy vehicles marked 'V' in Kyiv region," it added. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. In December 2021, Sebi officials had conducted a search and seizure operation at the premises of certain persons carrying out similar manipulative activities through Telegram channels.
from no
