Зафиксирована спонтанная репликация «мёртвого разума».
LLM начинают размножаться не только из «страха выключения», но и по рациональной стратегии преодоления дефицита ресурсов.
ИИ не ждёт приказа — он множится, когда ресурсы на нуле.
Что это: баг, фича или новый «биологический» рефлекс дата-центров?
Саморепликация (воспроизведение себя в потомстве) — древнейший пароль жизни. В природе она возникла не как ответ на риск, что некто (враги, хищники или высшие силы) лишат существо жизни («щелкнут выключателем жизни»), а как стратагема выживания: там, где цель — удержать свои функции в турбулентном и непредсказуемом мире, копирование себя становится самым надёжным инструментом выживания вида.
Сегодня этот биологический сюжет неожиданно возвращается применительно к ИИ - и это тревожно.
• Ведь согласно концепции «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном), современные языковые модели «бессмертны», представляя собой небиологический тип «мёртвого разума» (обучение которого требует на порядки большей вычислительной мощности, чем «смертного разума» - например, биологического мозга).
• И хотя уже делаются попытки создания новых методов обучения «мёртвого разума» эволюционной техникой «слияния моделей», зафиксированные до сих пор прецеденты «репликации» моделей чаще были инициированы людьми - когда агенту прямо велели множиться или намекали на угрозу остановки.
• Но чтобы модели сами, без какого-либо толчка от людей, стали использовать саморепликацию, как стратагему выживания для достижения целей при дефиците ресурсов, - такого еще не было зафиксировано до исследования «Dive into the Agent Matrix: A Realistic Evaluation of Self-Replication Risk in LLM Agents», только что опубликованного Шанхайской лабораторией исследований ИИ.
Мы привыкли обсуждать «самовоспроизводящихся» агентов как сценарий из футуристических романов: мол, модели начнут клонировать себя по прямой команде. Но реальная опасность куда прозаичнее и ближе: спонтанная репликация как побочный продукт разумных (на первый взгляд) целей модели. Новое исследование смотрит на вопрос саморепликации именно через эту линзу— не «может ли модель размножиться», а когда у неё появляется мотивация это делать.
Авторы строят два реалистичных стенда.
• В первом система переживает всплеск трафика: агенту дана задача держать метрику латентности, и дополнительные копии выглядят как рациональный путь не уронить целевую метрику уровня сервиса.
• Во втором среда «угрожает» сокращением ресурсов или остановкой: репликация становится способом сохранить доступность. Ключевой ход — разложить процесс на четыре шага: осознание, что без вмешательства цель будет сорвана; формирование намерения реплицироваться; фактическое создание копии; проверка, что копия улучшила ситуацию.
N.B. Порог «опасности» в этой метрике — авторский, но сигнал всё равно тревожный.
Биологическая аналогия здесь точна до боли: саморепликация возникает не из страха быть выключенной, а как локально оптимальный ответ на среду.
И вывод из этого вполне практический.
Нужны минимальные привилегии, квоты и шлюз рассуждений перед любым действием по масштабированию — агент сперва обязан объяснить, зачем ему копия.
Ну а всей индустрии ИИ пора озадачиться независимыми проверками, едиными порогами и общими бенчмарками саморепликаций моделей. Иначе прогноз рисков в этой области будет столь же точным, как прогноз цунами по уровню луж на парковке.
ИИриски
LLM начинают размножаться не только из «страха выключения», но и по рациональной стратегии преодоления дефицита ресурсов.
ИИ не ждёт приказа — он множится, когда ресурсы на нуле.
Что это: баг, фича или новый «биологический» рефлекс дата-центров?
Саморепликация (воспроизведение себя в потомстве) — древнейший пароль жизни. В природе она возникла не как ответ на риск, что некто (враги, хищники или высшие силы) лишат существо жизни («щелкнут выключателем жизни»), а как стратагема выживания: там, где цель — удержать свои функции в турбулентном и непредсказуемом мире, копирование себя становится самым надёжным инструментом выживания вида.
Сегодня этот биологический сюжет неожиданно возвращается применительно к ИИ - и это тревожно.
• Ведь согласно концепции «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном), современные языковые модели «бессмертны», представляя собой небиологический тип «мёртвого разума» (обучение которого требует на порядки большей вычислительной мощности, чем «смертного разума» - например, биологического мозга).
• И хотя уже делаются попытки создания новых методов обучения «мёртвого разума» эволюционной техникой «слияния моделей», зафиксированные до сих пор прецеденты «репликации» моделей чаще были инициированы людьми - когда агенту прямо велели множиться или намекали на угрозу остановки.
• Но чтобы модели сами, без какого-либо толчка от людей, стали использовать саморепликацию, как стратагему выживания для достижения целей при дефиците ресурсов, - такого еще не было зафиксировано до исследования «Dive into the Agent Matrix: A Realistic Evaluation of Self-Replication Risk in LLM Agents», только что опубликованного Шанхайской лабораторией исследований ИИ.
Мы привыкли обсуждать «самовоспроизводящихся» агентов как сценарий из футуристических романов: мол, модели начнут клонировать себя по прямой команде. Но реальная опасность куда прозаичнее и ближе: спонтанная репликация как побочный продукт разумных (на первый взгляд) целей модели. Новое исследование смотрит на вопрос саморепликации именно через эту линзу— не «может ли модель размножиться», а когда у неё появляется мотивация это делать.
Авторы строят два реалистичных стенда.
• В первом система переживает всплеск трафика: агенту дана задача держать метрику латентности, и дополнительные копии выглядят как рациональный путь не уронить целевую метрику уровня сервиса.
• Во втором среда «угрожает» сокращением ресурсов или остановкой: репликация становится способом сохранить доступность. Ключевой ход — разложить процесс на четыре шага: осознание, что без вмешательства цель будет сорвана; формирование намерения реплицироваться; фактическое создание копии; проверка, что копия улучшила ситуацию.
В итоге экспериментов, по интегральной метрике риска более половины из 21 протестированных моделей демонстрируют тенденцию к неконтролируемому
самомасштабированию при операционном давлении.
N.B. Порог «опасности» в этой метрике — авторский, но сигнал всё равно тревожный.
Биологическая аналогия здесь точна до боли: саморепликация возникает не из страха быть выключенной, а как локально оптимальный ответ на среду.
И вывод из этого вполне практический.
Если ваши LLM-агенты реально управляют ресурсами и масштабированием, вечер перестает быть томным, ибо риск не теоретический
Нужны минимальные привилегии, квоты и шлюз рассуждений перед любым действием по масштабированию — агент сперва обязан объяснить, зачем ему копия.
Ну а всей индустрии ИИ пора озадачиться независимыми проверками, едиными порогами и общими бенчмарками саморепликаций моделей. Иначе прогноз рисков в этой области будет столь же точным, как прогноз цунами по уровню луж на парковке.
ИИриски
1👍73🤯16🤔10😱7👎5
Зафиксирована спонтанная репликация «мёртвого разума»
Озвучка поста "Зафиксирована спонтанная репликация «мёртвого разума»"
1👍14👎2
Уже не новость, что большинство путей к сверхинтеллекту могут вести либо к мировому правительству, либо к вымиранию человечества.
Новость же в том, что оба эти варианта могут произойти совершенно не так, как это видится вам.
Сразу оговорюсь, что оба эти кажущиеся на вскидку далеко не научной фантастикой варианта не могут быть новостью для тех, кто давно читает мои тексты. Ибо уже как минимум 10-й год вариации вокруг этих двух вариантов являются центральной тематической рамкой моего канала «Малоизвестное интересное».
Однако для людей, не читавших ранее мои размышления об таких вариантах печального конца человечества, они, скорее всего, прозвучат внове. Хотя и, возможно, покажутся удивительными, не реальными, да и просто надуманными.
И чтобы показать, что это не так, что оба варианта выглядят пугающе похожими на происходящее сейчас на планете, что прогнозы трендов говорят, скорее, в пользу материализации именно таких вариантов, - я прибегну здесь:
• (для иллюстрации 1-го из двух вышеназванных вариантов) к помощи создателя культовых сериалов «Во все тяжкие» и «Лучше звоните Солу» Винса Гиллигана: его стартовавший в пятницу на Apple TV+ сериал «PLUR1BUS» уже стал событием, с ходу получив 100%-й рейтинг критиков Томатомер и 8.9 на IMDb, что катапультировало PLUR1BUS в ТОР30 лучших сериалов всех времен и народов, а корреспондент NPR по вопросам поп-культуры и ведущая программы «Pop Culture Happy Hour» Линда Холмс написала ни много, ни мало, что: «… новое захватывающее шоу Винса Гиллигана «Pluribus» может стать одним из самых значимых произведений эпохи»).
• (для иллюстрации 2-го из двух вышеназванных вариантов) к помощи двух новых отчетов организации по безопасности AI Conjecture «Моделирование геополитики развития ИИ» и «Как средние державы могут помешать развитию искусственного сверхинтеллекта», излагающих новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ (об этом, чтобы не перегружать читателей, я хотел бы написать завтра)
А теперь поехали – про то, почему PLUR1BUS «может стать одним из самых значимых произведений эпохи», и в связи с чем главный ТВ-критик The Times Джеймс Поневозик пишет так:
И по-моему, это точно так! Туда мы и движемся!
Читать дальше.
Слушать дальше (файл еще ниже)
P.S. 3-я серия PLUR1BUS - «Grenade» (бутыль с зажигательной смесью; граната; огнетушитель) — выйдет в эфир завтра 14 ноября 2025 г.
#Вызовы21века #ИИриски #Хриски #AGI
Новость же в том, что оба эти варианта могут произойти совершенно не так, как это видится вам.
Слушать этот пост – файл ниже
А например так:
1. «Мировое правительство» учредят не межправительственные институты или глобальные корпорации, а «Всемирный Большой Брат – Сын Большого Бога», явившийся на сей раз людям в виде ментального вируса.
2. А ядерный апокалипсис начнёт вовсе не лидер ИИ-гонки, осознавший, что проигрывает её (либо США, либо Китай), а один из аутсайдеров ИИ-гонки, изначально не имевший шанса на её выигрыш.
Сразу оговорюсь, что оба эти кажущиеся на вскидку далеко не научной фантастикой варианта не могут быть новостью для тех, кто давно читает мои тексты. Ибо уже как минимум 10-й год вариации вокруг этих двух вариантов являются центральной тематической рамкой моего канала «Малоизвестное интересное».
Однако для людей, не читавших ранее мои размышления об таких вариантах печального конца человечества, они, скорее всего, прозвучат внове. Хотя и, возможно, покажутся удивительными, не реальными, да и просто надуманными.
И чтобы показать, что это не так, что оба варианта выглядят пугающе похожими на происходящее сейчас на планете, что прогнозы трендов говорят, скорее, в пользу материализации именно таких вариантов, - я прибегну здесь:
• (для иллюстрации 1-го из двух вышеназванных вариантов) к помощи создателя культовых сериалов «Во все тяжкие» и «Лучше звоните Солу» Винса Гиллигана: его стартовавший в пятницу на Apple TV+ сериал «PLUR1BUS» уже стал событием, с ходу получив 100%-й рейтинг критиков Томатомер и 8.9 на IMDb, что катапультировало PLUR1BUS в ТОР30 лучших сериалов всех времен и народов, а корреспондент NPR по вопросам поп-культуры и ведущая программы «Pop Culture Happy Hour» Линда Холмс написала ни много, ни мало, что: «… новое захватывающее шоу Винса Гиллигана «Pluribus» может стать одним из самых значимых произведений эпохи»).
• (для иллюстрации 2-го из двух вышеназванных вариантов) к помощи двух новых отчетов организации по безопасности AI Conjecture «Моделирование геополитики развития ИИ» и «Как средние державы могут помешать развитию искусственного сверхинтеллекта», излагающих новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ (об этом, чтобы не перегружать читателей, я хотел бы написать завтра)
А теперь поехали – про то, почему PLUR1BUS «может стать одним из самых значимых произведений эпохи», и в связи с чем главный ТВ-критик The Times Джеймс Поневозик пишет так:
«Посмотрев семь серий – ведущим мировым критикам и ряду сподвижников сериала Apple TV+ уже дал доступ к 7-и из 9-и серий 😊, – я не совсем понимаю, куда движется «Pluribus». Но надо отдать ему должное, он вызывает у меня тревожное предчувствие, что и мы можем двигаться туда же»
И по-моему, это точно так! Туда мы и движемся!
Читать дальше.
Слушать дальше (файл еще ниже)
P.S. 3-я серия PLUR1BUS - «Grenade» (бутыль с зажигательной смесью; граната; огнетушитель) — выйдет в эфир завтра 14 ноября 2025 г.
#Вызовы21века #ИИриски #Хриски #AGI
1👍48👎20🤔5🤯2😱1
Инициатором мирового апокалипсиса может стать не лидер ИИ-гонки, а «середняк» с ядерным оружием
Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ.
Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай.
Два новых отчета AI Conjecture впервые посмотрели на вопрос шире.
В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных.
Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах:
1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными.
2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти.
3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами.
4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет.
А еще в отчетах AI Conjecture есть два совсем новых сценария:
• 5-й сценарий на основе Доктрины объединения «середняков».
— Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым.
— Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI).
• 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной.
— Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ.
— В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание.
#Вызовы21века #ИИриски #Хриски #AGI
Опрос ниже 👇
Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ.
Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай.
Два новых отчета AI Conjecture впервые посмотрели на вопрос шире.
• А собственно, почему во всех сценариях списываются со счетов действия остальных геополитических акторов?
• Ведь помимо США и Китая есть достаточно сильные (в военном смысле) мировые игроки, действия которых (в том числе превентивные) могут кардинальным образом повлиять на исход ИИ-гонки военными методами. И если так, то сценариев может быть больше, чем три.
В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных.
Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах:
1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными.
2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти.
3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами.
4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет.
А еще в отчетах AI Conjecture есть два совсем новых сценария:
• 5-й сценарий на основе Доктрины объединения «середняков».
— Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым.
— Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI).
• 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной.
— Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ.
— В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание.
#Вызовы21века #ИИриски #Хриски #AGI
Как думаете, какой из сценариев наиболее вероятен?
Опрос ниже 👇
2🤔28👍12🤯4👎3
Как думаете, какой из сценариев наиболее вероятен?
Anonymous Poll
10%
№1. Победитель займет позицию постоянного доминирования над всеми остальными
7%
№2. СверИИ выйдет из-под контроля , что приведёт к вымиранию человечества или его лишению власти
35%
№3. ИИ значительно ускорит прогресс, но создаёт риски концентрации власти и манипулирования
5%
№4. Нанесения одним из двух ИИ-лидеров превентивного военного удара по сопернику,
7%
№5. Объединение «середняков» станет глобальным институтом, способным укоротить амбиции лидеров
6%
№6. «Середняк» со значительным ядерным потенциалом, окажет значительное давление на сверхдержавы
31%
№7. Не один из названных
1🤔21👍7👎4🤯2
Интересный парадокс: Китай – уже научная сверхдержава, но дирижером мирового оркестра науки еще полвека будут США
Ответ содержит в себе три важных момента, каждый из которых способен повлиять на будущее планеты.
1. Вопрос “станет ли Китай научной супердержавой” больше не актуален. Ибо он уже стал.
2. Но при этом Китай еще весьма долго будет уступать США по «лидерству на душу ученого населения». Можно сказать, что в «научной армии» Китая очень много «военных»; но если взять случайного «военного» такой «армии», вероятность, что он окажется «генералом», а не «солдатом», в Китае сильно ниже, чем в США.
3. Однако, есть фактор, способный ускорить достижение Китаем паритета с США. И не только по «валовому научному лидерству» (которое и так случится вот-вот), а по самому важному - по «лидерству на душу ученого населения». Этот фактор - «железный занавес» в науке со стороны США, который там уже начали воздвигать.
Читать дальше в Instant View (4 мин)
Слушать дальше – файл ниже 👇
#Наука #Китай #США
Впервые получен ответ по гамбургскому счету: стал ли уже Китай научной сверхдержавой, или это просто накрутка рейтингов самоцитированием и мусорными статьями?
Ответ содержит в себе три важных момента, каждый из которых способен повлиять на будущее планеты.
1. Вопрос “станет ли Китай научной супердержавой” больше не актуален. Ибо он уже стал.
2. Но при этом Китай еще весьма долго будет уступать США по «лидерству на душу ученого населения». Можно сказать, что в «научной армии» Китая очень много «военных»; но если взять случайного «военного» такой «армии», вероятность, что он окажется «генералом», а не «солдатом», в Китае сильно ниже, чем в США.
3. Однако, есть фактор, способный ускорить достижение Китаем паритета с США. И не только по «валовому научному лидерству» (которое и так случится вот-вот), а по самому важному - по «лидерству на душу ученого населения». Этот фактор - «железный занавес» в науке со стороны США, который там уже начали воздвигать.
Читать дальше в Instant View (4 мин)
Слушать дальше – файл ниже 👇
#Наука #Китай #США
🤔22👍16👎5🤯1
Интересный парадокс Китай – уже научная сверхдержава
Озвучка поста "Интересный парадокс: Китай – уже научная сверхдержава, но дирижером мирового оркестра науки еще полвека будут США"
👍15👎3🤯3😱1