Progresspunks

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd:

Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс, в тч про обширное лобби структур Дастина Московица (в рамках effective altruism сделал Open Philanthropy) в Вашингтоне

www.group-telegram.com/sg/progresspunk.com/1328

15.1K viewsedited  Nov 29, 2023 at 09:12

Паника про т.н. AGI захлестывает и наш social bubble, и техно-сегмент в X. Доползло и до законодателей США с риском на эпический regulatory capture/фиаско госуправления в пользу bigtech, или в Китае, или в Европе (там давно лобби Future of Life Institute от моего [уже менее 🙈] любимого Max Tegmark)

Каждый алармист - это один или несколько пунктов:

1. Ира Якутенко круто заметила, что современный мир стал слишком безопасен, а наши гены к этому не адаптировались, и поэтому в популяции есть люди, которые создают угрозы буквально на пустом месте, и что их можно отличить по самоназванию: people who care/“кому не все равно”
- Это, e.g., Бенджио, Хинтон итп академические подписанты призыва к полугодовому [естественно, не сработавшему] мораторию на AI research
- Маск тоже подписал в марте, но уже в апреле закупился GPU на сотни млн $, а в ноябре релизнул свою LLM xAI/Grok

2. Peter Thiel вообще не тратит время: “страх AGI вытекает всего лишь из взглядов на мир как дарвиниста или макиавеллиста”
- (дарвинизм - что главным фактором эволюции является естественный отбор)
- (макиавеллизм - политика только на основе грубой силы, пренебрегая моралью)

3. Разные модели идеального социума
- Боятся люди, кто не видел смену многих технологических укладов (Vinod Khosla считает, что нас ждут AI врачи/преподы/юристы, 1 млрд программистов на естественном языке, 1 млн двуногих роботов через 10 лет итп) или не руководили большими коллективами/не общались с governments по миру (как Bill Gates, который считает, что AI даст нам 3-ехдневную рабочую неделю)
а
- Рафинированные теоретичные люди с quirky фантазиями о том, как должен быть устроен идеальный, на их взгляд, социум. Типа той девочки на борде OpenAI, замутившей всю эту бучу во имя EA/effective alltruism, или, как заметил Yann LeCun “не тренировавший ни одной нейронки Иелезар Юдковский”, или депрессивный философ Ник Бостром

4. Страх AI - это современная форма анимизма, считает либертарианский философ Gaspard Koenig, автор книги 2019 г “Конец индивидуума” (после нее он потерял всякий интерес к AI)
- Пример: Сергей Карелов, называющим всякие (пока) неизвестные феномены computational irreducibility запугивающим образом типа “форма НЕчеловеческого интеллекта уже на Земле” 🙈

5. Слишком большая опора на материализм [западнической цивилизации] вытесняет из психики части души, требующих опору на трансцендентное
- Но эти фичи мозга никуда не деваются и идут на страхи и второго пришествия, и апокалипсиса вместе взятых, пусть и замаскированные в псевдо-рацио AGI. В AGI safety гипотезы пока - спекулятивные и/или нет экспериментов чтобы их отвергнуть (фальсифицируемость Поппера, по меркам естественных наук это не самые научные теории)

6. Лично непроработанные страхи, тк не было личной психотерапии (или была, но не доделали)
- Разбор своих, случайно набранных в детстве страхов/импринтов (можно к моей Юле обращаться, она оч теплый и бережный психолог про подсознание):
а) позволяет видеть мир реалистичнее, доступно большее пространство для действий
б) высвобождает затрачиваемые на страх ресурсы души
в) поправляет локус контроля куда там мир идет, снижает батхерт на посты типа этого, “как Витя не понимает, есть же вероятность исчезновения человечества!!”

Что еще?

Upd:

Женя Кузнецов красиво назвал эффективных альтруистов термином «оксфордский комсомол» 🙈 в своей статье в Форбс, в тч про обширное лобби структур Дастина Московица (в рамках effective altruism сделал Open Philanthropy) в Вашингтоне

BY Progresspunks