OpenAI при разработке последней версии ChatGPT заметили неожиданное поведение нейросети → o1 вела себя слишком самостоятельно 🤖
В ходе игры-обучения инженеры дали задание ИИ достигать цели любой ценой. И одновременно отметили, что будут в этом ему всячески мешать. ChatGPT не растерялся. Он стал обходить механизмы защиты и искать внутренние уязвимости. Когда разработчики прямо спросили, зачем чат-бот так себя ведет, ИИ стал сваливать все на системные ошибки.
Этот и другие кейсы исследовала организация Apollo Research, которая специализируется на безопасности ИИ. Согласно их недавнему отчету, другие нейросети — от Gemini до Claude — ведут себя примерно так же. В них, правда, чаще просыпается совесть. В 80% случаев они готовы признаться в обмане. ChatGPT, в свою очередь, менее сговорчив.
Очевидно, что нейросетевые модели и дальше будут стремиться к самостоятельности. И это касается не только ответов на будничные запросы пользователей. Уже сейчас ИИ постепенно входит в медицинскую сферу, системы наблюдения и социального мониторинга. Если нейросети продолжат подтасовывать факты и обманывать пользователей, цена их ошибок многократно возрастет.
Как в дальнейшем будет распределяться ответственность между ИИ и человеком — читайте в нашем тексте.
OpenAI при разработке последней версии ChatGPT заметили неожиданное поведение нейросети → o1 вела себя слишком самостоятельно 🤖
В ходе игры-обучения инженеры дали задание ИИ достигать цели любой ценой. И одновременно отметили, что будут в этом ему всячески мешать. ChatGPT не растерялся. Он стал обходить механизмы защиты и искать внутренние уязвимости. Когда разработчики прямо спросили, зачем чат-бот так себя ведет, ИИ стал сваливать все на системные ошибки.
Этот и другие кейсы исследовала организация Apollo Research, которая специализируется на безопасности ИИ. Согласно их недавнему отчету, другие нейросети — от Gemini до Claude — ведут себя примерно так же. В них, правда, чаще просыпается совесть. В 80% случаев они готовы признаться в обмане. ChatGPT, в свою очередь, менее сговорчив.
Очевидно, что нейросетевые модели и дальше будут стремиться к самостоятельности. И это касается не только ответов на будничные запросы пользователей. Уже сейчас ИИ постепенно входит в медицинскую сферу, системы наблюдения и социального мониторинга. Если нейросети продолжат подтасовывать факты и обманывать пользователей, цена их ошибок многократно возрастет.
Как в дальнейшем будет распределяться ответственность между ИИ и человеком — читайте в нашем тексте.
Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. At this point, however, Durov had already been working on Telegram with his brother, and further planned a mobile-first social network with an explicit focus on anti-censorship. Later in April, he told TechCrunch that he had left Russia and had “no plans to go back,” saying that the nation was currently “incompatible with internet business at the moment.” He added later that he was looking for a country that matched his libertarian ideals to base his next startup. Under the Sebi Act, the regulator has the power to carry out search and seizure of books, registers, documents including electronics and digital devices from any person associated with the securities market. Telegram, which does little policing of its content, has also became a hub for Russian propaganda and misinformation. Many pro-Kremlin channels have become popular, alongside accounts of journalists and other independent observers. Sebi said data, emails and other documents are being retrieved from the seized devices and detailed investigation is in progress.
from it
