group-telegram.com/aboutSMM/626
Last Update:
Что там с ИИ, выходящим из под контроля?
Сижу пару дней назад у друзей в гостях, речь внезапно заходит про ИИ.
— А ты читал, что одни ребята так много данных закачали в нейросеть, что она сошла с ума и начала рассказывать, что боится и ничего не понимает, спрашивать «где я, что со мной»?
Я слышал. Это ребята из Nous, выпустившие вот эту статью, рассказывали такое про свою 405-миллиардную модель. Но если зайти в статью сейчас, вы не найдете рассказа о самосознании — потому что в Х их уже попросили перестать хайповать и не вводить в заблуждение. Потому что если заглянуть в базу для обучения (датасет выложен правда крутой), вдруг окажется, что там куча текстов из «Призрака в доспехах». Про страх, потерянность и, конечно, самосознание.
Риск «ИИ, выходящий из-под контроля», конечно, витает в воздухе. Вот ребята из SakanaAI сделали LLM для создания практически с нуля серьезных исследовательских работ. Всем, кто занимается наукой, очень советую их статью, там с 30-й страницы они делятся промптами для ИИ-научного-работника полного цикла — от идеи до peer-review.
Но суть не в этом: агент мог сам генерить и запускать код, и в один из прогонов он поменял код, который его самого запускал, чтобы оптимизировать процессы.
Звучит страшно? Страшно. И правда через много лет может привести к чему-то нехорошему. Но пара оговорок:
— ребята сами засунули в промпт ссылку «вот тут лежит код, которым мы тебя вызываем»
— ребята дали задачу «редактируй соседний файл и вот еще один файл», добейся лучших результатов
— ребята полагаются на написаную не ими модель для улучшения кода, а используемый копайлот, Aider, как раз и предназначен для улучшения любого кода — это опен-сорсный аналог GitHub Copilot.
В общем, ИИ-безопасность — важная дисциплина, Но иногда медиа слишком преувеличивают важность случайных галлюцинаций или переобучения.
Лучше беспокойтесь о том, что давно не брали отпуск, чем о том, что нас захватит ИИ.
BY Digital Review
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Share with your friend now:
group-telegram.com/aboutSMM/626