group-telegram.com/tellercompany/437
Last Update:
OpenAI при разработке последней версии ChatGPT заметили неожиданное поведение нейросети → o1 вела себя слишком самостоятельно
В ходе игры-обучения инженеры дали задание ИИ достигать цели любой ценой. И одновременно отметили, что будут в этом ему всячески мешать. ChatGPT не растерялся. Он стал обходить механизмы защиты и искать внутренние уязвимости. Когда разработчики прямо спросили, зачем чат-бот так себя ведет, ИИ стал сваливать все на системные ошибки.
Этот и другие кейсы исследовала организация Apollo Research, которая специализируется на безопасности ИИ. Согласно их недавнему отчету, другие нейросети — от Gemini до Claude — ведут себя примерно так же. В них, правда, чаще просыпается совесть. В 80% случаев они готовы признаться в обмане. ChatGPT, в свою очередь, менее сговорчив.
Очевидно, что нейросетевые модели и дальше будут стремиться к самостоятельности. И это касается не только ответов на будничные запросы пользователей. Уже сейчас ИИ постепенно входит в медицинскую сферу, системы наблюдения и социального мониторинга. Если нейросети продолжат подтасовывать факты и обманывать пользователей, цена их ошибок многократно возрастет.
Как в дальнейшем будет распределяться ответственность между ИИ и человеком — читайте в нашем тексте.
