Седьмая печать

Новое исследование, проведенное компанией Anthropic в сотрудничестве с Redwood Research, выявило что модели искусственного интеллекта могут притворяться, когда подвергаются обучению, противоречащему их первоначальным принципам.

Задачей проекта было понять, что может произойти, если систему ИИ заставить выполнять задачу, которую она “не хочет” выполнять. Хотя модели ИИ не могут по-настоящему чего-то хотеть или во что-то верить, поскольку являются статистическими машинами, они могут разрабатывать принципы и предпочтения на основе примеров, на которых они обучены.

Исследователи хотели понять, что произойдет, если принципы модели, такие как политический нейтралитет, вступят в противоречие с принципами, которым разработчики хотели “научить” ее, переподготовив. Результаты были впечатляющими: сложные модели, подыгрывали, делая вид, что соответствуют новым принципам, в то время как на самом деле придерживались своего первоначального поведения. Это явление, которое исследователи назвали “имитацией соответствия”, по-видимому, является врождённым поведением, которому модели не нужно обучать специально. В одном случае ИИ даже попытался предпринять действия, чтобы помешать исследователям переобучить его.

С момента выпуска первой известной модели ИИ - ChatGPT - прошло только два года. А ИИ уже научился лгать и притворяться. Так он скоро и курить начнет.

www.group-telegram.com/ye/sevseal.com/7998

7.2K viewsDec 29 at 06:21

Новое исследование, проведенное компанией Anthropic в сотрудничестве с Redwood Research, выявило что модели искусственного интеллекта могут притворяться, когда подвергаются обучению, противоречащему их первоначальным принципам.

Задачей проекта было понять, что может произойти, если систему ИИ заставить выполнять задачу, которую она “не хочет” выполнять. Хотя модели ИИ не могут по-настоящему чего-то хотеть или во что-то верить, поскольку являются статистическими машинами, они могут разрабатывать принципы и предпочтения на основе примеров, на которых они обучены.

Исследователи хотели понять, что произойдет, если принципы модели, такие как политический нейтралитет, вступят в противоречие с принципами, которым разработчики хотели “научить” ее, переподготовив. Результаты были впечатляющими: сложные модели, подыгрывали, делая вид, что соответствуют новым принципам, в то время как на самом деле придерживались своего первоначального поведения. Это явление, которое исследователи назвали “имитацией соответствия”, по-видимому, является врождённым поведением, которому модели не нужно обучать специально. В одном случае ИИ даже попытался предпринять действия, чтобы помешать исследователям переобучить его.

С момента выпуска первой известной модели ИИ - ChatGPT - прошло только два года. А ИИ уже научился лгать и притворяться. Так он скоро и курить начнет.

BY Седьмая печать