Digital Review

Что там с ИИ, выходящим из под контроля?

Сижу пару дней назад у друзей в гостях, речь внезапно заходит про ИИ.

— А ты читал, что одни ребята так много данных закачали в нейросеть, что она сошла с ума и начала рассказывать, что боится и ничего не понимает, спрашивать «где я, что со мной»?

Я слышал. Это ребята из Nous, выпустившие вот эту статью, рассказывали такое про свою 405-миллиардную модель. Но если зайти в статью сейчас, вы не найдете рассказа о самосознании — потому что в Х их уже попросили перестать хайповать и не вводить в заблуждение. Потому что если заглянуть в базу для обучения (датасет выложен правда крутой), вдруг окажется, что там куча текстов из «Призрака в доспехах». Про страх, потерянность и, конечно, самосознание.

Риск «ИИ, выходящий из-под контроля», конечно, витает в воздухе. Вот ребята из SakanaAI сделали LLM для создания практически с нуля серьезных исследовательских работ. Всем, кто занимается наукой, очень советую их статью, там с 30-й страницы они делятся промптами для ИИ-научного-работника полного цикла — от идеи до peer-review.
Но суть не в этом: агент мог сам генерить и запускать код, и в один из прогонов он поменял код, который его самого запускал, чтобы оптимизировать процессы.

Звучит страшно? Страшно. И правда через много лет может привести к чему-то нехорошему. Но пара оговорок:
— ребята сами засунули в промпт ссылку «вот тут лежит код, которым мы тебя вызываем»
— ребята дали задачу «редактируй соседний файл и вот еще один файл», добейся лучших результатов
— ребята полагаются на написаную не ими модель для улучшения кода, а используемый копайлот, Aider, как раз и предназначен для улучшения любого кода — это опен-сорсный аналог GitHub Copilot.

В общем, ИИ-безопасность — важная дисциплина, Но иногда медиа слишком преувеличивают важность случайных галлюцинаций или переобучения.

Лучше беспокойтесь о том, что давно не брали отпуск, чем о том, что нас захватит ИИ.

www.group-telegram.com/ms/aboutSMM.com/626

10.2K viewsAug 28 at 07:02

Что там с ИИ, выходящим из под контроля?

Сижу пару дней назад у друзей в гостях, речь внезапно заходит про ИИ.

— А ты читал, что одни ребята так много данных закачали в нейросеть, что она сошла с ума и начала рассказывать, что боится и ничего не понимает, спрашивать «где я, что со мной»?

Я слышал. Это ребята из Nous, выпустившие вот эту статью, рассказывали такое про свою 405-миллиардную модель. Но если зайти в статью сейчас, вы не найдете рассказа о самосознании — потому что в Х их уже попросили перестать хайповать и не вводить в заблуждение. Потому что если заглянуть в базу для обучения (датасет выложен правда крутой), вдруг окажется, что там куча текстов из «Призрака в доспехах». Про страх, потерянность и, конечно, самосознание.

Риск «ИИ, выходящий из-под контроля», конечно, витает в воздухе. Вот ребята из SakanaAI сделали LLM для создания практически с нуля серьезных исследовательских работ. Всем, кто занимается наукой, очень советую их статью, там с 30-й страницы они делятся промптами для ИИ-научного-работника полного цикла — от идеи до peer-review.
Но суть не в этом: агент мог сам генерить и запускать код, и в один из прогонов он поменял код, который его самого запускал, чтобы оптимизировать процессы.

Звучит страшно? Страшно. И правда через много лет может привести к чему-то нехорошему. Но пара оговорок:
— ребята сами засунули в промпт ссылку «вот тут лежит код, которым мы тебя вызываем»
— ребята дали задачу «редактируй соседний файл и вот еще один файл», добейся лучших результатов
— ребята полагаются на написаную не ими модель для улучшения кода, а используемый копайлот, Aider, как раз и предназначен для улучшения любого кода — это опен-сорсный аналог GitHub Copilot.

В общем, ИИ-безопасность — важная дисциплина, Но иногда медиа слишком преувеличивают важность случайных галлюцинаций или переобучения.

Лучше беспокойтесь о том, что давно не брали отпуск, чем о том, что нас захватит ИИ.

BY Digital Review