Victor Osyka, техноцивилизация

Прочитал книгу The Coming Wave от со-основателя Deepmind Mustafa Suleyman (сейчас фаундер Inflection AI на $1.5 млрд от Гейтса и Рида Хоффмана), вышла в сент 2023:

Витя
- Это его страхи и его т.н. “запрос на идеальный социум”: что технологии есть благо, но у них есть сверхриски, и поэтому власти/общество должны предпринять действия + “давайте бояться вместе” =)
- НЕ читать: сыро/мало новизны, спекуляции без данных, много воды

Идеи
- В ближайшие годы AI и сам разовьется, и продвинет synthetic biology и робототехнику. У этих 3 технологий общее что они порождают автономно действующие в мире агенты, и если не озаботиться проблемой сдерживания (containment) этих технологий, то их уникальные возможности засолвить людям все, что можно для нашей биологической цивилизации, могут обернуться супер-рисками в ближайшие декады
- Риски: от неравенства (в пользу AI софта, роботов, в пользу более развитых стран), исчезновения национальных государств (уже в кризисах), биотерроризма (корона покажется детсадом), супер-авторитаризма и до AGI
- 10 лет обсуждал это приватно, теперь хочет широкую дискуссию

I. Homo technologicus
- Все tech за 10 тыс лет помогали растить население + дешевеют и массово распространяются (всегда), и скорость этой диффузии растет
- Ядерное оружие - редчайший пример, когда удалось добиться относительного нераспространения, а ГМО юзают и климат не меняют итп
- Modern Civilization = (Life + Intelligence) * Energy

II. Большая волна
- Силу нейронок понял когда мы засолвили игру Go (после 3ех ходов 2*10^15 комбинаций) в AlphaGo, учили на 150К партий людей + само с собой играло = одолело чемпиона мира. Дальше успешно приложили AlphaGo к т.н. проблеме фолдинга белка
- Generative AI это пройденный этап, важнее идущий взрыв LLM, когда миллиарды параметров станут триллионами (из-за роста вычислительных способностей по закону Мура). Тест Тьюринга надо апгрейдить (а есть ли в AI сознание или нет - пофигу, только отвлекает нас)
- В ДНК схожая акселерация: жизни 3.7 млрд лет, а тут бац: synthetic biology + ДНК принтеры (демократизация) -> будет взрыв креативности, регуляции/этика уже не поспевают, корона - частный случай (этически оч спорных) т.н. gain of function опытов и типичный кейс утечки из лаб
- Китай вваливает $ в науку сколько и США. Идет технологическая гонка наций, ей сильно способствует, что в современной науке культура открытости, знания циркулируют, сайты препринтов + open source/Github
- За 50 лет XX века ВВП вырос 6x, а сейчас может еще 2x: +$100 трлн за 50 лет
- Национализм, капитализм, наука - это 3 неотъемлемых фичи мира, их не убрать

III. Риски
- В 21 год пошел в экологию, и в мэрии Лондона поработал, но тут выстрелил Fb и понял: влияние tech больше политики -> пошел в технобизнес
- Мир хрупок из-за усложнения (хакеры) + идут откаты: в авторитаризм (все могут захотеть себе слежку камерами как уже в Китае), в теории заговора (QAnon), в инфовойны через дезинформацию
- Технологии это форма власти, а тк доступ к tech демократизируется (e.g. ждем дешевых роботов с оружием), то и власть тоже демократизируется? Tech всегда смещают баланс власти: e.g. дроны с GPS за $2К надо сбивать ракетами Patriot за миллионы $ каждая
- Можно улететь в катастрофы а-ля корона на новом уровне из-за synthetic biology. Можно незаметно стагнировать как цивилизации ранее, или как старение сейчас в Японии, Корее, EU, РФ

IV. Сдерживание
- Что делать? Быстрее внедрять изощренное регулирование. Страны в дилемме: нераспространение vs. оставаться конкурентными. Также, world of atoms было проще контролить, чем world of bits...
- Нужно растить в мире осознание проблемы среди учёных, у властей стран, у широкой аудитории, что задача сдерживания оч важна
- Простых ответов нет, но позволит начать вырабатывать шаги: общая культура безопасности, требовать аудит технологий, выиграть цивилизации время, международные соглашения уровня ООН, критикуют пусть практики из своих сфер, внедрять налоги на tech/ведущие корпорации (компенсировать рост неравенства), в целом порождать массовый запрос общества на решение этой проблемы

www.group-telegram.com/kr/Victor_Osyka.com/470

8.6K viewsSep 20, 2023 at 08:32

Прочитал книгу The Coming Wave от со-основателя Deepmind Mustafa Suleyman (сейчас фаундер Inflection AI на $1.5 млрд от Гейтса и Рида Хоффмана), вышла в сент 2023:

Витя
- Это его страхи и его т.н. “запрос на идеальный социум”: что технологии есть благо, но у них есть сверхриски, и поэтому власти/общество должны предпринять действия + “давайте бояться вместе” =)
- НЕ читать: сыро/мало новизны, спекуляции без данных, много воды

Идеи
- В ближайшие годы AI и сам разовьется, и продвинет synthetic biology и робототехнику. У этих 3 технологий общее что они порождают автономно действующие в мире агенты, и если не озаботиться проблемой сдерживания (containment) этих технологий, то их уникальные возможности засолвить людям все, что можно для нашей биологической цивилизации, могут обернуться супер-рисками в ближайшие декады
- Риски: от неравенства (в пользу AI софта, роботов, в пользу более развитых стран), исчезновения национальных государств (уже в кризисах), биотерроризма (корона покажется детсадом), супер-авторитаризма и до AGI
- 10 лет обсуждал это приватно, теперь хочет широкую дискуссию

I. Homo technologicus
- Все tech за 10 тыс лет помогали растить население + дешевеют и массово распространяются (всегда), и скорость этой диффузии растет
- Ядерное оружие - редчайший пример, когда удалось добиться относительного нераспространения, а ГМО юзают и климат не меняют итп
- Modern Civilization = (Life + Intelligence) * Energy

II. Большая волна
- Силу нейронок понял когда мы засолвили игру Go (после 3ех ходов 2*10^15 комбинаций) в AlphaGo, учили на 150К партий людей + само с собой играло = одолело чемпиона мира. Дальше успешно приложили AlphaGo к т.н. проблеме фолдинга белка
- Generative AI это пройденный этап, важнее идущий взрыв LLM, когда миллиарды параметров станут триллионами (из-за роста вычислительных способностей по закону Мура). Тест Тьюринга надо апгрейдить (а есть ли в AI сознание или нет - пофигу, только отвлекает нас)
- В ДНК схожая акселерация: жизни 3.7 млрд лет, а тут бац: synthetic biology + ДНК принтеры (демократизация) -> будет взрыв креативности, регуляции/этика уже не поспевают, корона - частный случай (этически оч спорных) т.н. gain of function опытов и типичный кейс утечки из лаб
- Китай вваливает $ в науку сколько и США. Идет технологическая гонка наций, ей сильно способствует, что в современной науке культура открытости, знания циркулируют, сайты препринтов + open source/Github
- За 50 лет XX века ВВП вырос 6x, а сейчас может еще 2x: +$100 трлн за 50 лет
- Национализм, капитализм, наука - это 3 неотъемлемых фичи мира, их не убрать

III. Риски
- В 21 год пошел в экологию, и в мэрии Лондона поработал, но тут выстрелил Fb и понял: влияние tech больше политики -> пошел в технобизнес
- Мир хрупок из-за усложнения (хакеры) + идут откаты: в авторитаризм (все могут захотеть себе слежку камерами как уже в Китае), в теории заговора (QAnon), в инфовойны через дезинформацию
- Технологии это форма власти, а тк доступ к tech демократизируется (e.g. ждем дешевых роботов с оружием), то и власть тоже демократизируется? Tech всегда смещают баланс власти: e.g. дроны с GPS за $2К надо сбивать ракетами Patriot за миллионы $ каждая
- Можно улететь в катастрофы а-ля корона на новом уровне из-за synthetic biology. Можно незаметно стагнировать как цивилизации ранее, или как старение сейчас в Японии, Корее, EU, РФ

IV. Сдерживание
- Что делать? Быстрее внедрять изощренное регулирование. Страны в дилемме: нераспространение vs. оставаться конкурентными. Также, world of atoms было проще контролить, чем world of bits...
- Нужно растить в мире осознание проблемы среди учёных, у властей стран, у широкой аудитории, что задача сдерживания оч важна
- Простых ответов нет, но позволит начать вырабатывать шаги: общая культура безопасности, требовать аудит технологий, выиграть цивилизации время, международные соглашения уровня ООН, критикуют пусть практики из своих сфер, внедрять налоги на tech/ведущие корпорации (компенсировать рост неравенства), в целом порождать массовый запрос общества на решение этой проблемы

BY Victor Osyka, техноцивилизация