Новое исследование, проведенное компанией Anthropic в сотрудничестве с Redwood Research, выявило что модели искусственного интеллекта могут притворяться, когда подвергаются обучению, противоречащему их первоначальным принципам.
Задачей проекта было понять, что может произойти, если систему ИИ заставить выполнять задачу, которую она “не хочет” выполнять. Хотя модели ИИ не могут по-настоящему чего-то хотеть или во что-то верить, поскольку являются статистическими машинами, они могут разрабатывать принципы и предпочтения на основе примеров, на которых они обучены.
Исследователи хотели понять, что произойдет, если принципы модели, такие как политический нейтралитет, вступят в противоречие с принципами, которым разработчики хотели “научить” ее, переподготовив. Результаты были впечатляющими: сложные модели, подыгрывали, делая вид, что соответствуют новым принципам, в то время как на самом деле придерживались своего первоначального поведения. Это явление, которое исследователи назвали “имитацией соответствия”, по-видимому, является врождённым поведением, которому модели не нужно обучать специально. В одном случае ИИ даже попытался предпринять действия, чтобы помешать исследователям переобучить его.
С момента выпуска первой известной модели ИИ - ChatGPT - прошло только два года. А ИИ уже научился лгать и притворяться. Так он скоро и курить начнет.
Новое исследование, проведенное компанией Anthropic в сотрудничестве с Redwood Research, выявило что модели искусственного интеллекта могут притворяться, когда подвергаются обучению, противоречащему их первоначальным принципам.
Задачей проекта было понять, что может произойти, если систему ИИ заставить выполнять задачу, которую она “не хочет” выполнять. Хотя модели ИИ не могут по-настоящему чего-то хотеть или во что-то верить, поскольку являются статистическими машинами, они могут разрабатывать принципы и предпочтения на основе примеров, на которых они обучены.
Исследователи хотели понять, что произойдет, если принципы модели, такие как политический нейтралитет, вступят в противоречие с принципами, которым разработчики хотели “научить” ее, переподготовив. Результаты были впечатляющими: сложные модели, подыгрывали, делая вид, что соответствуют новым принципам, в то время как на самом деле придерживались своего первоначального поведения. Это явление, которое исследователи назвали “имитацией соответствия”, по-видимому, является врождённым поведением, которому модели не нужно обучать специально. В одном случае ИИ даже попытался предпринять действия, чтобы помешать исследователям переобучить его.
С момента выпуска первой известной модели ИИ - ChatGPT - прошло только два года. А ИИ уже научился лгать и притворяться. Так он скоро и курить начнет.
BY Седьмая печать
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
A Russian Telegram channel with over 700,000 followers is spreading disinformation about Russia's invasion of Ukraine under the guise of providing "objective information" and fact-checking fake news. Its influence extends beyond the platform, with major Russian publications, government officials, and journalists citing the page's posts. Ukrainian forces have since put up a strong resistance to the Russian troops amid the war that has left hundreds of Ukrainian civilians, including children, dead, according to the United Nations. Ukrainian and international officials have accused Russia of targeting civilian populations with shelling and bombardments. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon." And while money initially moved into stocks in the morning, capital moved out of safe-haven assets. The price of the 10-year Treasury note fell Friday, sending its yield up to 2% from a March closing low of 1.73%. The fake Zelenskiy account reached 20,000 followers on Telegram before it was shut down, a remedial action that experts say is all too rare.
from kr
