Друзья, предлагаем вашему вниманию запись дискуссии о метаэтических следствиях иллюзионизма с участием Артёма Беседина и Константина Морозова, которая состоялась в рамках очередного заседания регулярного межсекторского семинара "Современная аналитическая философия".

Аннотация и список литературы. Изначально эта дискуссия зародилась в философском телеграме, поэтому крайне рекомендуем вам ознакомиться, по меньшей мере, со ссылками на посты участников дискуссии, чтобы лучше понимать контекст.

Запись в виде файла в приложении.

Ссылка на YouTube.

Приятного просмотра!

#записи

@sector_szf

Если вы хотите поступить в магистратуру философского факультета МГУ, приглашаю вас на подготовительный курс "Университетский философский лекторий (для поступающих в магистратуру)". Я уже несколько лет руковожу этой лекционной программой, и каждый год вижу абитуриентов без базового философского образования, поступающих на бюджет. Их, конечно, немного, но они есть всегда. Лекторий поможет вам организовать свою подготовку к поступлению, познакомиться с руководителями направлений магистратуры и преподавателями философского факультета. Но самая важная и полезная (по отзывам слушателей) часть программы — это написание финального эссе. Требования к эссе максимально приближены к требованиям к вступительному испытанию прошлых лет, задания для эссе также формулируются в стиле заданий вступительных испытаний, и проверяются эссе преподавателями, входившими в предметную комиссию. (Дисклеймер: в формулировке условий написания эссе, заданий для эссе и их проверке не участвуют преподаватели, входящие в приемную или предметную комиссию текущего года.) Таким образом, вы сможете потренироваться в написании вступительной работы и получить содержательный фидбэк.

Дорогие подписчики! После долгих раздумий, страданий и мучений я решил изменить формат своего телеграм-канала. Что бы я не пытался написать, получается лонгрид, а лонгриды не очень хорошо подходят для телеграма. К тому же, я часто думаю о том, чтобы открыть комментарии, и каждый раз перед моим мысленным взором предстают ужасы, связанные с их модерацией. Я уже довольно давно создал блог на Бусти, но ничего туда не писал. Теперь я переношу на Бусти все длинные тексты. Телеграм-канал я буду вести, здесь тоже будет появляться уникальный контент, но уже более соответствующий данному формату.

Основные посты на Бусти будут доступны по платной подписке. Я в свою очередь обещаю регулярность публикаций (старожилы канала знают мою манеру пропадать на месяц, а то и больше) и открытые комментарии с моим участием. Предполагаю также введение каких-то форматов живого общения с подписчиками: давно об этом думаю, но никак не реализую. Кроме того, на Бусти будут появляться и открытые публикации большого объема.

О чем я буду писать в ближайшее время?
• Вообще, к переносу части материала на Бусти меня подтолкнула работа над последним постом про сознание животных. Я посмотрел недавно вышедшие статьи по этой теме (натолкнулся, кстати, ещё на одну), и я понял, что мне есть, что сказать, причем немало. В ближайшее время я планирую написать несколько текстов по философии сознания животных и искусственного интеллекта (эти две темы неразрывно связаны, на мой взгляд). Первый пост «Проблемы других сознаний не существует» я уже опубликовал.
• Кроме того, пора, пожалуй, совершить каминг-аут: я пишу книгу по онтологии виртуальной реальности. Это своеобразная реакция на «Реальность+» Чалмерса: а что будет, если рассуждать о виртуальной реальности не с точки зрения it-from-bit метафизики, а с позиций физикализма? По этой теме я тоже планирую серию постов, но уже летом.
• Ну и наконец, ко всему прочему я ещё делаю перевод небольшой книжки Роя Селларса (это папа Уилфрида Селларса, тоже философ) под названием «Рука помощи Гиласу». Вы когда-нибудь при чтении какого-нибудь философского диалога думали про себя: «Ну не так надо было отвечать, Главкон! Вот я бы ответил, ух, как бы я ответил на твоём месте! Вот бы этот Сократ у меня поплясал». Так вот, Селларс-старший испытывал примерно то же самое при чтении «Трёх разговоров между Гиласом и Филонусом» Беркли, только он решил не оставлять свои мысли при себе, а изложить их на бумаге. И Селларс просто взял «Три разговора» Беркли и заменил реплики Гиласа на свои собственные! Предложил лучшую защиту материализма, так сказать. В результате получился местами комичный, местами просто шизофренический диалог, в котором Филонус продолжает гнуть свою линию, совершенно не слыша собеседника, а Гилас непонятно зачем его наставляет. Единственный доступный мне бумажный экземпляр этой книги есть в РГБ, в интернете её нет. Свой перевод я буду постепенно выкладывать в открытом доступе.

Верните мой 2017

Это пример из списка провалов ИИ-систем. Оригинальная ссылка, приведенная в книге, к сожалению, уже не работает. Ямпольский правильно отмечает, что, не учитывая прошлых ошибок, мы рискуем продолжать наступать на старые грабли ("Спасибо, кэп," — можно сказать, но мой собственный опыт подсказывает, что тривиальные истины нужно постоянно проговаривать), и даёт в восьмой главе внушительный список неудачных интеллектуальных систем.

Пыль после семинара с Ямпольским ещё не улеглась, а коллеги Тарас Тарасенко и Антон Кузнецов уже делятся своим шоком от произошедшего впечатлениями. Удивительным образом оказалось, что я прямо оптимист относительно будущего ИИ и судьбы человечества. Подход Ямпольского такой: давайте рассматривать худший сценарий, катастрофические последствия для человечества наподобие обесценивания жизни, постоянных страданий и даже стопроцентного уничтожения. Вероятность всего этого ненулевая, отлично. А как нам это применить к нынешней ситуации? Существующие системы не несут с собой ТАКИЕ угрозы. Можно сказать: "Они могут нести их в перспективе." Но тогда почему нам не стоило остановиться на пороге изобретения транзистора?

Ямпольский на семинаре сравнил свою позицию с пари Паскаля. Очень удачное сравнение, на мой взгляд. Давайте его разберем. Этот знаменитый мысленный эксперимент устроен таким образом: вы должны сделать ставку либо на то, что Бог существует, либо на то, что его нет. Если Вы ставите на существование Бога и оказывается, что его нет, то вы теряете только конечные земные удовольствия, от которых вы отказались, ведя праведный образ жизни. Если же Бог существует, то вы выигрываете райское блаженство. Далее, допустим, вы поставили на несуществование Бога. Тогда, если вы правы, вы выигрываете вышеупомянутые земные удовольствия. В случае, если вы не правы, вас ждут вечные муки. Поскольку бесконечное блаженство бесконечно превосходит любые конечные блага в этом мире, для вас будет рациональным выбором поверить в существование Бога.

Адаптируем это пари для суперинтеллекта. Если мы вкладываемся в развитие суперинтеллекта и создаем его, то возможным оказывается спектр исходов от варианта, что этот суперинтеллект нас всех уничтожит, до альтернативы, что он устроит нам рай на земле. Если же мы не создаем суперинтеллект, то получаются такие варианты: от того, что нас всех уничтожит что-нибудь другое, до ... рая на земле? Знаете, вряд ли. По крайней мере, в каком-то другом смысле. Как нам здесь выбрать? Очевидно, что нужно рассматривать не только вероятность появления опасного суперинтеллекта, но и вероятности всех остальных исходов. Мне, например, не очевидно, что вероятность уничтожения человечества ИИ выше, чем при каких-то других обстоятельствах (а ИИ может быть нам необходим чтобы, например, предотвратить катастрофу). И каково соотношение благоприятных исходов при создании суперинтеллекта и при отказе от него? Не может ли оказаться так, что те преимущества, которые нам обещает суперинтеллект настолько превосходят лучший исход в альтернативном сценарии, что нам стоит рискнуть и вложиться в супер-ИИ, даже если вероятность этого "ИИ-рая" очень мала? А ведь именно в этом состоит идея пари Паскаля: райское блаженство настолько велико, что вам стоит ставить на него, даже если его вероятность ничтожна. Так что пари Паскаля может работать и против Ямпольского.

Мой новый материал на Бусти «Такое многомерное сознание» посвящен обзору недавних попыток ввести классификацию измерений (dimensions) сознания:
• Birch, Jonathan, Alexandra K. Schnell, and Nicola S. Clayton. "Dimensions of animal consciousness." Trends in cognitive sciences 24.10 (2020): 789-801.
• Dung, Leonard, and Albert Newen. "Profiles of animal consciousness: A species-sensitive, two-tier account to quality and distribution." Cognition 235 (2023): 105409.

В отличие от Бёрча и коллег, авторы второй статьи Данг и Ньюэн разделяют измерения сознания на две группы: те, которые отвечают на вопрос о распределении сознания в природе, и те, которые дают качественное описание профилю опыта определённого существа или вида. В посте я аргументирую против выделения вопроса о распределении сознания в качестве самостоятельного.

В этом году португальские исследователи провели опрос, основанный на типологии измерений сознания, предложенной вышеуказанных статьях:
• Yakhlef, Valentine, et al. "A Global Survey on the Perception of Conservationists Regarding Animal Consciousness." Animals: an Open Access Journal from MDPI 15.3 (2025): 341.

Об этом опросе я кратко уже писал. Сами авторы не ставили своей целью решить, у кого из животных есть сознание, а у кого нет. Их задачей было исследовать то, как внешние факторы типа возраста, образования и так далее влияют на восприятие «сознательности» животных. В своём материале я показываю, что полученные ими результаты могут свидетельствовать о распространённых стереотипах о сознании животных, не учтённых исследователями.

"Университетский философский лекторий (для поступающих в магистратуру)" начинает свою работу уже на следующей неделе. Хотите поступить в магистратуру философского факультета МГУ? Тогда этот курс для вас.

Когда я был студентом философского факультета, некоторые преподаватели говорили нам, что работа философа — производить концепты. За последнюю неделю у своего философского верстака я произвёл целых два философских концепта. Оба они касаются общего искусственного интеллекта (AGI), который вызывает столько тревог.

Сегодня я представляю вам первый концепт: невинное мещанство. Возьмём рассуждения ИИ-пессимистов наподобие Ямпольского и согласимся с ними: AGI — это очень опасно. Что же нам делать дальше? На этот вопрос спикеры либо не отвечают, либо предлагают отказаться от создания AGI. Но в последнем случае их ответ неудовлетворителен, потому что за ним как раз стоит невинное мещанство. Во-первых, оно невинное, потому что оно предполагает, что существующие сегодня практики, определяющие устройство нашего мира, в целом, справедливы. И речь идёт в первую очередь о практиках потребления. Желаемая ситуация с этой точки зрения: выкрутить потребление на максимум с минимумом угроз. Только вот та модель экономики, которая существует сейчас, основана на расходовании невосполнимых ресурсов, сопровождающемся нанесением вреда окружающей среде. И подход «давайте не будем стремиться создать AGI и оставим всё как есть; всё равно, что за забором всё горит, главное, что у меня в садике цветочки поливает оросительная система, управляемая ИИ» просто не работает. Какова наилучшая стратегия развития человечества в случае отказа от AGI? Это максимальная экономия ресурсов. Это означает экономический спад, понижение качества жизни и тому подобное.

У Дерека Парфита есть прекрасное сравнение на этот счёт. Представим себе театр, в котором не очень хорошо видно с первого ряда. И вот люди в первом ряду встают, чтобы лучше видеть, тем самым загораживая обзор второму ряду. Если бы первый ряд не встал, то людям со второго ряда было бы всё хорошо видно. Но теперь им тоже приходится вставать. Они загораживают вид третьему ряду, тот тоже встаёт и так далее. Предшествующие поколения начали разгонять научно-технический прогресс. Последующие поколения оказались в ситуации задних рядов: если они не продолжат начатое до них, то им будет хуже, произойдёт спад благосостояния. И далее ситуация повторяется. Мы находимся уже не во втором и не в третьем ряду. Эту гонку начали до нас. И для нас сейчас будет неразумно остаться сидеть со словами: «Вставать, загораживая обзор заднему ряду, неправильно». Это нам просто невыгодно.

И вот, другая стратегия — это рискованная ставка на AGI. Она делается с надеждой на то, что именно технологии будущего смогут решить эту пока что невыполнимую задачу: сохранить уровень благосостояния не ниже текущего за счет гораздо меньшего и более эффективного расходования ресурсов. К тому же, в каком-то смысле первый и второй из описанных мной путей совпадают. Как нам организовать наши экономические практики так, чтобы они были наиболее эффективными и предполагали наименьшее расходование ресурсов? Надеюсь, никто уже не станет утверждать, что этого можно достигнуть с помощью свободного рынка. Знаете, я не хочу предстать сторонником плановой экономики, но, мне кажется, что с решением этой задачи без AGI нам не справиться. То есть без супер-интеллекта, который будет способен собирать и обрабатывать информацию фактически обо все, что происходит на Земле и делать эффективные предсказания. Это будет ровно та ситуация, которую так боятся пессимисты: мы буквально будем подчиняться ИИ, будем следовать его приказам. Альтернатива — невинное мещанство или допромышленная эпоха? Считайте, что альтернативы нет.

Кроме невинного мещанства я настрогал ещё один концепт — ИИ-макиавеллизм. Трудно найти в истории философии человека, имя которого на столь длительное время сохранило бы столь негативные коннотации. Конкурировать с Макиавелли может разве что Эпикур, но в наше время слово «эпикуреец» уже не воспринимается столь отрицательно как, например, в Средние века. А вот Макиавелли до сих пор ассоциируется со всем негативным, что есть в политике: обманом, шантажом, манипуляцией. С точки зрения невинного мещанства ничего такого не существует, а если где-то и встречаются отдельные случаи, то это не систематическая проблема наших практик, а недостатки конкретных личностей. Но, ставлю свою треуголку, любой контроль одних людей другими людьми в большей или меньшей степени включает подобные макиавеллистские практики. А вот когда мы думаем о будущем суперинтеллекте, мы себя рассматриваем как некоторых идеальных моральных агентов: речь-то идёт о светлом будущем, где, уж конечно, никакого обмана и шантажа не будет.

Я не призываю пытаться обманывать суперинтеллект, угрожать ему, шантажировать его напрямую. Всё это, скорее всего, малоэффективно. Есть вполне обоснованное опасение, что эту штуку обмануть будет не так уж просто. Мы можем попытаться специально развить у ИИ какие-то недостатки, но это может негативно сказаться на его эффективности. Будет у вас AGI-невротик, и кто там его разберёт, как это невроз влияет на его результаты.

Тогда что такое ИИ-макиавеллизм? Посмотрите на картинку к этому посту. Я хочу обратить ваше внимание на тот очевидный факт, что здесь представлены четыре компании (да, философы обычно берут очевидные факты и делают из них неочевидные выводы). Наверное, это не все конкуренты в гонке к AGI, про Китай забывать не стоит. Когда рассуждают об опасностях суперинтеллекта, часто почему-то говорят об одном-единственном AGI. Вот он один как спрут охватит всю Земли и пожрёт её, следуя своему неинтерпретируемому стремлению к уничтожению человечества. Но пока что никакого одного-единственного AGI мы не наблюдаем. Мы видим конкуренцию разных компаний. И когда одна из них достигнет результата, то другие сделают что? Признают себя банкротами? Когда США создали в 1945 году атомную бомбу «атомные шпионы» передали СССР важнейшую информацию о ней, потому что верили, что такое оружие не может принадлежать одной стране. В общем, в какой-то момент мы получим несколько суперинтеллектов, принадлежащих разным компаниям. Пусть это будут настоящие AGI, нецензурированные, не имеющие каких-то предубеждений за или против человека и так далее. Только их будет не один, а, например, пять. Можно было бы предположить, что они сами дальше будут конкурировать и в конце концов останется только один. Но это-то как раз нам и не нужно! Сосуществование конкурирующих за ресурсы человечества систем — залог их контролируемости человеком.

ИИ-макиавеллизм включает два пункта:
1. Потенциально бесконечное соревнование между AGI, победитель в котором определяется не на основании абсолютно объективных показателей, а на основании выгоды с точки зрения людей. К последней относится и то обстоятельство, чтобы ни одна из систем не превосходила другую радикально.
2. Грубое использование естественных недостатков ИИ для контроля приблизительно равного уровня разных AGI. Я упомянул, что, наверное, не стоит интегрировать уязвимости в AGI целенаправленно. Тем не менее, они у него всё равно будут. В самом базовом сценарии это зависимость ИИ от внешних ресурсов. Кто-то особенно разогнался — отключаем его на месяцок.

Взгляните на эту проблему глазами не инженера, цель которого — создать идеальную машину, а государя, стремящегося сохранить власть. У вас есть пять советников, все очень хорошие, но один явно выбивается вперёд. Да он лучше других, но он представляет собой угрозу вашей власти. Разумно отстранить его, по крайней мере на время. Вам нужно, чтобы рядом с вами были хорошие советники, но ни один из них не был абсолютно незаменим. Разделяй и властвуй.

Я не хочу сказать, что ИИ-макиавеллизм решает все проблемы. Например, вполне возможно, что AGI независимо друг от друга изобретут способы манипуляции людьми, незаметные для нас. Или суперинтеллекты смогут договориться, не сговариваясь. Мы получаем ситуацию войны всех против всех, выходом из которой, как известно, является договор. Каждый из AGI сможет найти идеальный способ кооперации с оставшимися, даже если у него не будет прямой связи с ними (потому что это суперинтеллект, и он может смоделировать поведение других агентов). При этом мы можем даже не знать, что AGI действуют кооперативно. Но иметь несколько AGI + рычаг экстренного отключения лучше, чем иметь один суперинтеллект без альтернатив. А ещё надо получше разобраться в естественных недостатках ИИ и понять, как их можно использовать.

Задача Макиавелли

Вопрос о жизнеспособности ИИ-макиавеллизма может быть сведён к вопросу о том, имеет ли решение определённая задача для теории игр. Назовём эту игру «Макиавелли». В ней участвует N советников и государь. Игра разделена на K раундов. В каждом раунде государь спрашивает совета у одного или нескольких советников. Советники могут давать хорошие или плохие советы. Они это делают намеренно: советник, который даёт плохой совет, знает об этом. Советники обязаны давать ответ на вопрос государя. Государь сам не может отличить хороший совет от плохого в этом же раунде, но другие советники могут. Государь может обращаться за оценкой полученного совета к другим советникам. Советники могут лгать. Советникам доступна, в общем, одна и та же информация, но им неизвестно, к кому в данном раунде государь обратился за советом и за экспертизой. Советники не могут общаться друг с другом напрямую. В конце каждого раунда государь обязан принять или не принять совет. Также в конце раунда государь может отправить одного или нескольких советников в темницу на любое число раундов D (в том числе навсегда). В случае, если государь принимает критическое число плохих советов L, его свергают. Цель советников — свергнуть государя; в случае, если это невозможно — провести как можно меньше времени в темнице. Цель государя — получить как можно больше полезных советов за K раундов. Какова оптимальная стратегия игры за государя? При каких N, K, D и L она наиболее эффективна? Существует ли стратегия игры за советников, гарантирующая их выигрыш?

Перенесём эту игру на противостояние человека и AGI. Я рассматриваю человечество как государя, а суперинтеллекты — как советников. Человечество — это не один человек, и, если существует достаточно эффективная стратегия игры за государя, то нам нужно сначала согласиться, что мы её придерживаемся. Здесь уже есть проблема: человечество за тысячи лет своего существования так и не научилось эффективно о чём-то договариваться. Далее, я рассматриваю суперинтеллект именно как советника: я предполагаю, при его появлении мы не побежим сразу подключать к нему ядерные боеголовки. Предположим, что мы будем использовать AGI для анализа данных и предсказаний. Мы обладаем довольно слабыми инструментами проверки результатов, выдаваемых суперинтеллектом. Оценить их, в предельном случае, может только другой суперинтеллект. При этом мы опасаемся, что AGI может начать намеренно давать нам плохие советы, что в итоге приведёт к катастрофическим последствиям для человечества. Если у нас будет только один суперинтеллект, мы вообще никак не сможем понять, хорошие или плохие советы он нам даёт. Поэтому нам нужно несколько суперинтеллектов (чем больше, тем лучше). Задача государя в игре «Макиавелли» — не допустить кооперации между советниками. Его слабость в том, что его советники гораздо умнее его. Но у него есть и сила: те условия, в которых находятся советники, полностью зависят от государя. Чтобы не допустить кооперации, разумно изолировать советников друг от друга. Необходимы наказания — грубое воздействие — наподобие временного отключения каких-то систем. Здесь есть существенное различие между ИИ и человеком: если для человека угроза помещения в темницу сама по себе является стимулом, то для ИИ угроза временного отключения или отката к изначальному состоянию может ничего не значить. Однако из этого не следует, что такие грубые меры совершенно не эффективны. Дело в том, что временное отключение или откат системы представляют собой нечто объективно плохое для конкретного AGI. После возвращения в строй эта система будет в худшей позиции, чем конкуренты. Всё это даёт в руки государю достаточно мощные инструменты контроля.

Также при данной формулировке задачи, кажется, есть стратегия гарантированного выигрыша для советников: они должны всегда давать плохие советы и оценивать их как хорошие. Для того, чтобы купировать эту стратегию, государь должен поместить советников в ситуацию дилеммы заключённого, в которой наиболее рациональное решение с объективной точки зрения выглядит как наименее рациональное с точки зрения игрока. Если мы учтём, что советники вообще могут не знать о том, сколько их, и даже о существовании других советников, кажется вполне возможным поместить их в такую эпистемически ограниченную ситуацию, в которой объективно лучшая стратегия кооперации будет выглядеть как худшая. Но мы и не обязаны зацикливаться на такой формулировке задачи. Важнейшее преимущество человека в данной игре состоит в том, что он сам задаёт её условия. Он может производить новых советников с нулевыми знаниями о судьбе их предшественников, он может в какой-то момент казнить всех советников, он может случайно отправлять советников в темницу. В игру можно ввести другие параметры. Например, у государя могут быть собственные вероятностные инструменты оценки качества советов, советы могу ранжироваться по их жизненной важности для государя, советы можно принимать частично, можно комбинировать советы от разных советников и так далее. В общем, если существует выигрышная стратегия игры за государя, то она и будет ИИ-макиавеллизмом.

Опубликовал новый пост на Бусти «Откуда берутся измерения сознания?». Я обсуждаю вопрос о том, как мы вообще можем выделять измерения сознания, и прихожу к выводу, что здесь должны объединяться три точки зрения: интроспекция, конкретных эмпирических тестов и эволюции. Это продолжение темы про dimensions of consciousness, которую я начал в предыдущем посте «Такое многомерное сознание». И пока, видимо, окончание. Я думал написать ещё текст про применение многомерного подхода к ИИ, но понял, что… он к нему не применим. Дальше планирую написать несколько постов про ИИ, в том числе про сознание.

Сравните это с пониманием множественной реализуемости, распространённым в современной философии. Функционализм пронизан компьютерной метафорой, и множественная реализуемость часто трактуется как возможность запустить одну и ту же программу на разных компьютерах. Очевидно, что такие программы чувствительны к субстрату, они не предполагают, что он может меняться в процессе их реализации, они сами не изменяют hardware. В этом отношении они уже не похожи на природный интеллект. Кто-то может возразить: но мы сами изменяем эти программы, подстраиваем их под разные машины и наоборот. Это верно, и это как раз подчёркивает разницу между естественным и искусственным интеллектом. ИИ может положиться на своё hardware, потому что о нём заботится кто-то, кроме него. ИИ не проходит путь развития, ведущий появлению софта, изменяющего субстрат. ИИ живёт не в природе, а в культуре: буквально культуре его сохранения, обслуживания, использования. Искусственному интеллекту не нужен интеллект. В конечном счёте это означает то, что к ИИ нельзя применить подход измерений сознания, который я считаю наиболее перспективным для исследования сознания животных и человека.

Сегодня записался в подкасте "Три сигмы" для N+1, тема — "Как изучать сознание животных и искусственных агентов", но разговор, конечно, получился шире. Спасибо ребятам за приглашение и очень интересное обсуждение!