Третья сверхдержава
Глобальные убытки от киберпреступлений по оценке Cybersecurity Ventures на 2024 год достигли $10+ трлн в год. Мировая «экономика» киберкриминала стала условно «третьей экономикой» мира после США и Китая, превышая суммарный ВВП Германии и Японии, равно как и весь мировой рынок IT. Это не прибыль, а ущерб, но масштаб сравнимый. Мы имеем дело не с маргинальной угрозой, а с глобальной «кибердержавой» — крупнейшим нелегальным бизнесом планеты, в разы превышающим теневые рынки наркоторговли и оружия, и впятеро превосходя сумму военных бюджетов всех стран мира. Ушло время, когда киберриски «парковали» где то в IT отделах. Теперь их масштабы сопоставимы с крупнейшими национальными экономиками и мировыми индустриями планеты.
С фиксации этого поразительного факта начинается нон фикшн триллер Владаса Леонаса о прошлом, настоящем и будущем цифровой безопасности «Cyber Insecurity: Examining the Past, Defining the Future».
И в этом смысле книга моего давнего доброго коллеги и профессионального единомышленника Владаса Леонаса — не очередной хайпосборник маркетинговых мемов, а попытка вскрыть один из самых опасных нарывов цифровой цивилизации, пока он еще не превратился в гангрену.
О чём книга
1) История. От ARPANET до «червя» Creeper: Автор показывает — первые хакерские атаки появились вместе с первыми сетями, а логика противостояния мало изменилась за полвека.
2) Практика управления. Автор подробно разбирает, почему Agile команды теряют бюджет безопасности и как CISO может встроить риск метрики в backlog без ломки процессов.
3) Облака. К 2025 99% сбоев в облачной защите будут вызваны ошибками клиентов. Классическая схема shared responsibility часто читается «по диагонали», а цена этого миллионы долларов.
4) Будущее. 2025 й станет «годом отрезвления»: массовой окупаемости «волшебных алгоритмов» ждать не стоит, и компаниям придётся научиться измерять их реальную эффективность.
Что делает книгу особенной
1. Гибрид жанров. Мемуары инженера + исторический атлас кибервойн + справочник CISO. Лёгкий переход от нарратива к чек листам: можно читать подряд или выборочно
2. Честность без пиара. Автор не продаёт технологии, а анализирует. Он цитирует Gartner и Forrester, но так же охотно разбирает их промахи (например, миф «облако всегда дешевле»).
3. Смелые прогнозы с оговорками. Каждый вывод сопровождается ссылкой на первоисточник и допущениями. Это позволяет читателю самому оценить риски и степень уверенности.
Кому будет полезно
• CEO и члены советов увидят, как киберинцидент обрушил рыночную капитализацию компании на 12 % за два дня — убедительный повод поставить KPI по кибербезопасности рядом с финансовыми метриками.
• CISO и руководители ИТ найдут подробный разбор ловушек: от переоценки SOC инцидентов до конфликтов зон ответственности с CSP.
• Студенты и энтузиасты поймут эволюцию угроз через конкретные истории вроде атаки на Colonial Pipeline.
• Юристы и специалисты по комплаенсу получат компактный гид от CFAA до GDPR и свежих регуляторных инициатив 2024 года.
Почему стоит читать сейчас
Книги о кибербезопасности обычно устаревают к выходу из типографии. Владас Леонас успевает зафиксировать самый острый срез: от Stuxnet до экспериментов правительства Австралии с Microsoft Copilot. И он не продаёт «серебряные пули»; он вооружает читателя критическим мышлением. А с ним угрозы выглядят управляемыми, а инвестиции — оправданными.
#БББ #Кибербезопасность
Глобальные убытки от киберпреступлений по оценке Cybersecurity Ventures на 2024 год достигли $10+ трлн в год. Мировая «экономика» киберкриминала стала условно «третьей экономикой» мира после США и Китая, превышая суммарный ВВП Германии и Японии, равно как и весь мировой рынок IT. Это не прибыль, а ущерб, но масштаб сравнимый. Мы имеем дело не с маргинальной угрозой, а с глобальной «кибердержавой» — крупнейшим нелегальным бизнесом планеты, в разы превышающим теневые рынки наркоторговли и оружия, и впятеро превосходя сумму военных бюджетов всех стран мира. Ушло время, когда киберриски «парковали» где то в IT отделах. Теперь их масштабы сопоставимы с крупнейшими национальными экономиками и мировыми индустриями планеты.
С фиксации этого поразительного факта начинается нон фикшн триллер Владаса Леонаса о прошлом, настоящем и будущем цифровой безопасности «Cyber Insecurity: Examining the Past, Defining the Future».
Задумайтесь над этим, чтобы навести фокус ваших оценок:
• что в сегодняшнем мире лишь хайп (хотя, возможно, и с большим будущим),
• а что реально важно: не когда-то и не возможно, а совершенно точно и уже сейчас.
И в этом смысле книга моего давнего доброго коллеги и профессионального единомышленника Владаса Леонаса — не очередной хайпосборник маркетинговых мемов, а попытка вскрыть один из самых опасных нарывов цифровой цивилизации, пока он еще не превратился в гангрену.
О чём книга
1) История. От ARPANET до «червя» Creeper: Автор показывает — первые хакерские атаки появились вместе с первыми сетями, а логика противостояния мало изменилась за полвека.
2) Практика управления. Автор подробно разбирает, почему Agile команды теряют бюджет безопасности и как CISO может встроить риск метрики в backlog без ломки процессов.
3) Облака. К 2025 99% сбоев в облачной защите будут вызваны ошибками клиентов. Классическая схема shared responsibility часто читается «по диагонали», а цена этого миллионы долларов.
4) Будущее. 2025 й станет «годом отрезвления»: массовой окупаемости «волшебных алгоритмов» ждать не стоит, и компаниям придётся научиться измерять их реальную эффективность.
Что делает книгу особенной
1. Гибрид жанров. Мемуары инженера + исторический атлас кибервойн + справочник CISO. Лёгкий переход от нарратива к чек листам: можно читать подряд или выборочно
2. Честность без пиара. Автор не продаёт технологии, а анализирует. Он цитирует Gartner и Forrester, но так же охотно разбирает их промахи (например, миф «облако всегда дешевле»).
3. Смелые прогнозы с оговорками. Каждый вывод сопровождается ссылкой на первоисточник и допущениями. Это позволяет читателю самому оценить риски и степень уверенности.
Кому будет полезно
• CEO и члены советов увидят, как киберинцидент обрушил рыночную капитализацию компании на 12 % за два дня — убедительный повод поставить KPI по кибербезопасности рядом с финансовыми метриками.
• CISO и руководители ИТ найдут подробный разбор ловушек: от переоценки SOC инцидентов до конфликтов зон ответственности с CSP.
• Студенты и энтузиасты поймут эволюцию угроз через конкретные истории вроде атаки на Colonial Pipeline.
• Юристы и специалисты по комплаенсу получат компактный гид от CFAA до GDPR и свежих регуляторных инициатив 2024 года.
Почему стоит читать сейчас
Книги о кибербезопасности обычно устаревают к выходу из типографии. Владас Леонас успевает зафиксировать самый острый срез: от Stuxnet до экспериментов правительства Австралии с Microsoft Copilot. И он не продаёт «серебряные пули»; он вооружает читателя критическим мышлением. А с ним угрозы выглядят управляемыми, а инвестиции — оправданными.
И прежде чем подписывать новый SLA или урезать бюджет безопасности, поставьте «Cyber Insecurity» первой строкой в wish list. Отложить эту книгу «на потом» — уже риск, который нельзя игнорировать. Ведь в мире, где ChatGPT генерирует фишинг за секунды, а квантовые компьютеры вот-вот взломают RSA, откладывать её чтение — всё равно что игнорировать пожарную сигнализацию.
#БББ #Кибербезопасность
В этом году китайские LLM сравняются с американскими… Но это Китаю не поможет.
США задавят Китай 10-тикратной превосходством своего HW, преобразовав его в ИИ-работников.
От того, кто из двоих лидеров – США или Китай, - выиграет важнейшую мировую гонку 21 века за первенство в области ИИ, во многом зависит, будет ли мир 2030-х и далее скроен по американскому или по китайскому образцу.
Пока в лидерах гонки однозначно были США. Но к концу 2024 Китай доказал, что способен разрабатывать свои большие языковые модели, приближаясь к уровню лучших образцов США.
По сути, вопросом 2025 года стал вопрос – сумеет ли теперь Китай догнать (а значит сможет и перегнать) все самые крутые американские модели по всем ключевым характеристикам?
Только законченное интереснейшее аналитическое исследование лаборатории «AI and Compute» Центра политики технологий и безопасности корпорации RAND под руководством проф. Леннарта Хайма дало интригующий ответ на этот вопрос:
Т.е. формула «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке», в итоге, решит итог гонки за мировую гегемонию в ИИ (и не только).
#ИИгонка #Китай #США
США задавят Китай 10-тикратной превосходством своего HW, преобразовав его в ИИ-работников.
От того, кто из двоих лидеров – США или Китай, - выиграет важнейшую мировую гонку 21 века за первенство в области ИИ, во многом зависит, будет ли мир 2030-х и далее скроен по американскому или по китайскому образцу.
Пока в лидерах гонки однозначно были США. Но к концу 2024 Китай доказал, что способен разрабатывать свои большие языковые модели, приближаясь к уровню лучших образцов США.
По сути, вопросом 2025 года стал вопрос – сумеет ли теперь Китай догнать (а значит сможет и перегнать) все самые крутые американские модели по всем ключевым характеристикам?
Только законченное интереснейшее аналитическое исследование лаборатории «AI and Compute» Центра политики технологий и безопасности корпорации RAND под руководством проф. Леннарта Хайма дало интригующий ответ на этот вопрос:
1. Да, в 2025 Китай догонит США по всем ключевым параметрам моделей.
2. Но это не позволит Китаю сравняться по вычислительной (а значит и по интеллектуальной) мощи с США. Ибо Китай отстает по вычислительной мощи примерно в 10 раз. И потому, даже догнав США по уровню моделей, общий разрыв все равно будет в 10 раз.
3. Более того. В 2026 ключевую роль ИИ-систем в экономике, науке и военном деле будут играть уже не разговорные LLM (ИИ-чатботы), а ИИ-агенты. Каждый такой ИИ-аген будет выполнять работу, как минимум, одного, а чаще десятков высококлассных специалистов.
Что при 10-кратном превосходстве вычислительной мощности станет равносильным 10-100-кратным превосходством в прибавке «интеллектуальной рабочей силы» в экономике, научных исследованиях и военном деле.
Т.е. формула «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке», в итоге, решит итог гонки за мировую гегемонию в ИИ (и не только).
#ИИгонка #Китай #США
От безлекарственного подавления рака до понимания инопланетян
Поборов «слепоту разума», можно видеть и строить мир, где формы разума сосуществуют и помогают друг другу
Парадигмальная революция в понимании разума, ознаменованная публикацией «апрельских тезисов» Майкла Левина, продолжается.
Новый доклад Левина «Против слепоты разума: распознавание и общение с многообразием разума» — настоящий взрыв мозга! Он заставляет задуматься о фундаментальном вопросе:
Цель доклада двуедина
1. Показать, что звучащая сюжетами из будущего аргументация в пользу новой парадигмы разума, вовсе не фантазия и не “просто теория”, а реальность, обещающая революцию в медицине, создание живых микроботов и переосмысление нашего места во Вселенной.
Ибо уже экспериментально продемонстрировано:
— клетки могут «договариваться» между собой;
— их можно «убедить» например, создать глаз на хвосте головастика или «убедить» «антроботов» (сборки из клеток человека) заживлять раны нейронов;
— биоэлектрические сигналы могут «перепрограммировать» ткани;
— и даже раковые клетки можно «убедить» вернуться в коллектив к «здоровой жизни» без лекарств и химиотерапии, использовав их «электрический язык».
2. Продемонстрировать непомерно высокую цену, которую человечество платит за “слепоту разума”, не позволяющую видеть колоссальные перспективы кардинальной смены научной парадигмы в пользу признания многообразия разума.
Ибо это может позволить:
— научиться «разговаривать» с отдельными клетками и их коллективами;
— поняв наконец, что ДНК — лишь «алфавит», а настоящий «роман» пишется коллективным разумом тела, научиться читать индивидуальные «романы» каждого из людей;
— увидев и поняв другие формы разума, существующие вокруг нас и даже внутри нас, кардинально поменять представления о разумном мироздании.
Увы, но каждый из нас может быть интеллектуально слеп по каким-то вопросам. И вследствие этого, просто не воспринимать аргументы и логику, противоречащие нашим предубеждениям. Источником такой “интеллектуальной слепоты” является феномен мотивированного рассуждения, зафиксированного в сотнях научных экспериментов и ныне являющегося ключом к анализу нейропсихологических причин устойчивого существования непробиваемых ложных суждений. Такая непробиваемость и повсеместность феномена мотивированного рассуждения обусловлены тем, что это продукт эволюции. В результате чего каждый из нас расплачивается за свои мотивированные рассуждения обидными, но крайне трудно преодолимыми самообманами, живущими в нашем разуме в привязке к уже существовавшим привычным мыслям (подробней см. мой лонгрид «Интеллектуальная слепота»).
Но оказывается, бывают вещи и похуже индивидуальной интеллектуальной слепоты. Подобного рода “слепотой разума” страдают не только индивиды, но и все человечество. Причем объектом слепоты разума является сам разум.
Истоки слепоты разума также эволюционные. Эволюция «настроила» нас распознавать лишь знакомые нам разумы — тех, кто похож на людей или хотя бы на собак, птиц, осьминогов. Всё, что мыслит вне привычных масштабов и форм, — от колоний клеток до роботов — мы склонны игнорировать. Это и есть слепота разума — самый фундаментальный самообман бесконечно дорого обходящийся человечеству.
Хотите глубже?
✔️ Смотрите 36-минутный видео-доклад с презентацией Майкла Левина.
✔️ Понимание доклада требует подготовки. Поэтому для подписчиков моих лонгридов я написал структурированное резюме доклада с пояснениями сложных моментов ИИ-мнемозиной информария Левина [1, 2, 3, 4].
И приготовьтесь: после знакомства с этими материалами, привычная граница между организмом, машиной и «просто материей» тает — и взгляд на разум перезагружается.
#ParadigmsofIntelligence #DiverseIntelligence #НетрадиционныеРазумы #ИнойИнтеллект #МирХимер
Поборов «слепоту разума», можно видеть и строить мир, где формы разума сосуществуют и помогают друг другу
Понимание, что разум может «жить» в химии, тканях, клетках и алгоритмах, меняет наше место в мире и даёт новые инструменты созидания. Мы могли бы «уговаривать» раковые клетки прекратить их экспансию.
Парадигмальная революция в понимании разума, ознаменованная публикацией «апрельских тезисов» Майкла Левина, продолжается.
Новый доклад Левина «Против слепоты разума: распознавание и общение с многообразием разума» — настоящий взрыв мозга! Он заставляет задуматься о фундаментальном вопросе:
как нам научиться «разговаривать» с невероятным многообразием разума.
Цель доклада двуедина
1. Показать, что звучащая сюжетами из будущего аргументация в пользу новой парадигмы разума, вовсе не фантазия и не “просто теория”, а реальность, обещающая революцию в медицине, создание живых микроботов и переосмысление нашего места во Вселенной.
Ибо уже экспериментально продемонстрировано:
— клетки могут «договариваться» между собой;
— их можно «убедить» например, создать глаз на хвосте головастика или «убедить» «антроботов» (сборки из клеток человека) заживлять раны нейронов;
— биоэлектрические сигналы могут «перепрограммировать» ткани;
— и даже раковые клетки можно «убедить» вернуться в коллектив к «здоровой жизни» без лекарств и химиотерапии, использовав их «электрический язык».
2. Продемонстрировать непомерно высокую цену, которую человечество платит за “слепоту разума”, не позволяющую видеть колоссальные перспективы кардинальной смены научной парадигмы в пользу признания многообразия разума.
Ибо это может позволить:
— научиться «разговаривать» с отдельными клетками и их коллективами;
— поняв наконец, что ДНК — лишь «алфавит», а настоящий «роман» пишется коллективным разумом тела, научиться читать индивидуальные «романы» каждого из людей;
— увидев и поняв другие формы разума, существующие вокруг нас и даже внутри нас, кардинально поменять представления о разумном мироздании.
Увы, но каждый из нас может быть интеллектуально слеп по каким-то вопросам. И вследствие этого, просто не воспринимать аргументы и логику, противоречащие нашим предубеждениям. Источником такой “интеллектуальной слепоты” является феномен мотивированного рассуждения, зафиксированного в сотнях научных экспериментов и ныне являющегося ключом к анализу нейропсихологических причин устойчивого существования непробиваемых ложных суждений. Такая непробиваемость и повсеместность феномена мотивированного рассуждения обусловлены тем, что это продукт эволюции. В результате чего каждый из нас расплачивается за свои мотивированные рассуждения обидными, но крайне трудно преодолимыми самообманами, живущими в нашем разуме в привязке к уже существовавшим привычным мыслям (подробней см. мой лонгрид «Интеллектуальная слепота»).
Но оказывается, бывают вещи и похуже индивидуальной интеллектуальной слепоты. Подобного рода “слепотой разума” страдают не только индивиды, но и все человечество. Причем объектом слепоты разума является сам разум.
Истоки слепоты разума также эволюционные. Эволюция «настроила» нас распознавать лишь знакомые нам разумы — тех, кто похож на людей или хотя бы на собак, птиц, осьминогов. Всё, что мыслит вне привычных масштабов и форм, — от колоний клеток до роботов — мы склонны игнорировать. Это и есть слепота разума — самый фундаментальный самообман бесконечно дорого обходящийся человечеству.
Хотите глубже?
✔️ Смотрите 36-минутный видео-доклад с презентацией Майкла Левина.
✔️ Понимание доклада требует подготовки. Поэтому для подписчиков моих лонгридов я написал структурированное резюме доклада с пояснениями сложных моментов ИИ-мнемозиной информария Левина [1, 2, 3, 4].
И приготовьтесь: после знакомства с этими материалами, привычная граница между организмом, машиной и «просто материей» тает — и взгляд на разум перезагружается.
#ParadigmsofIntelligence #DiverseIntelligence #НетрадиционныеРазумы #ИнойИнтеллект #МирХимер
Научный прогресс статистически неизбежен.
Но от конкретных личностей зависит лишь, чьё имя войдёт в учебники.
Кто на самом деле ведёт науку вперёд — одинокие гении или дух времени?
Новое исследование склоняет чашу весов в пользу второго.
Проанализировав 40 млн научных статей, авторы отыскали каждую из работ, «взорвавших» свою область прорывным открытием, и обнаружили:
В современном научном мире «двойное открытие» («тройное» и т.д.) — скорее правило, чем редкость.
Эти цифры отсылают нас к одному из самых известных американских социологов XX века Роберту Мертону, который ещё в 1961 году утверждал: открытия диктует исторический контекст, а не случайные молнии таланта.
И что же теперь делать с нашими идолами — Ньютоном, Дарвином, Эйнштейном и т.д.?
Их блеск неоспорим, но данные намекают: промедли они — и очень скоро кто-то другой поднял бы тот же флаг. Научный прогресс, похоже, статистически неизбежен; от личностей зависит лишь, чьё имя войдёт в учебники, а не то, откроются ли закон тяготения, естественный отбор или теория относительности.
Тем более, что с учетом «науки об успехе», в цифросетевом мире успех, в основном, зависит «от впечатлений» - т.е. не от таланта и продуктивности автора, а от коллективного восприятия обществом его самого и результатов его работы.
Но как говорится, «на каждый газ есть противогаз». И на статистическую неизбежность свой противогаз тоже есть. И даже два.
Во-первых, в науке, как и во всем остальном, все больше правит хайп. А чем больше хайп, тем меньше шансов на прорыв. И потому научный прогресс останавливается, попав в ловушку канона.
Во-вторых, - «Анти-Закон Мура»: производительность труда ученых, исследователей, разработчиков техно-прорывов во многих областях за 50 лет упала примерно в 18 раз. Ибо научный прогресс экстенсивен и может остановиться из-за приближения науки и технологий к сингулярности сложности.
Ситуация похожа на подъем по эскалатору, идущему вниз. Мы пытаемся ускорить подъем и бежим все быстрее. Но эскалатор тоже ускоряется, и в результате мы остаемся на месте. Сила, что все более ускоряет эскалатор, — это нарастающая сложность решаемых задач, способов их решения и, в целом, - экспоненциальное нарастание сложности мира, как интегральный результат всех наших предыдущих усилий. В результате, прогресс почти остановился. Но мы этого еще не видим.
Однако, не все так плохо. И кажется, нашёлся свой противогаз и на сингулярность сложности.
Уже в следующем году ключевую роль в науке, исследованиях и разработках начнут перенимать на себя ИИ-агенты. Каждый такой ИИ-агент будет выполнять работу десятков (если не сотен и тысяч) высококлассных специалистов. А поскольку число ИИ-агентов будет расти несравнимо быстрее, чем это получается у людей, научный прогресс снова станет статистически неизбежен.
#Прогресс #Наука
Но от конкретных личностей зависит лишь, чьё имя войдёт в учебники.
Кто на самом деле ведёт науку вперёд — одинокие гении или дух времени?
Новое исследование склоняет чашу весов в пользу второго.
Проанализировав 40 млн научных статей, авторы отыскали каждую из работ, «взорвавших» свою область прорывным открытием, и обнаружили:
у любого такого прорыва почти всегда есть близнецы — независимые статьи с тем же открытием, вышедшие всего через несколько месяцев или лет.
В современном научном мире «двойное открытие» («тройное» и т.д.) — скорее правило, чем редкость.
Как только знания по определенной теме достигают критической массы, вероятность того, что разные команды одновременно придут к одной революционной идее, возрастает в сорок раз.
Эти цифры отсылают нас к одному из самых известных американских социологов XX века Роберту Мертону, который ещё в 1961 году утверждал: открытия диктует исторический контекст, а не случайные молнии таланта.
И что же теперь делать с нашими идолами — Ньютоном, Дарвином, Эйнштейном и т.д.?
Их блеск неоспорим, но данные намекают: промедли они — и очень скоро кто-то другой поднял бы тот же флаг. Научный прогресс, похоже, статистически неизбежен; от личностей зависит лишь, чьё имя войдёт в учебники, а не то, откроются ли закон тяготения, естественный отбор или теория относительности.
Тем более, что с учетом «науки об успехе», в цифросетевом мире успех, в основном, зависит «от впечатлений» - т.е. не от таланта и продуктивности автора, а от коллективного восприятия обществом его самого и результатов его работы.
Но как говорится, «на каждый газ есть противогаз». И на статистическую неизбежность свой противогаз тоже есть. И даже два.
Во-первых, в науке, как и во всем остальном, все больше правит хайп. А чем больше хайп, тем меньше шансов на прорыв. И потому научный прогресс останавливается, попав в ловушку канона.
Во-вторых, - «Анти-Закон Мура»: производительность труда ученых, исследователей, разработчиков техно-прорывов во многих областях за 50 лет упала примерно в 18 раз. Ибо научный прогресс экстенсивен и может остановиться из-за приближения науки и технологий к сингулярности сложности.
Ситуация похожа на подъем по эскалатору, идущему вниз. Мы пытаемся ускорить подъем и бежим все быстрее. Но эскалатор тоже ускоряется, и в результате мы остаемся на месте. Сила, что все более ускоряет эскалатор, — это нарастающая сложность решаемых задач, способов их решения и, в целом, - экспоненциальное нарастание сложности мира, как интегральный результат всех наших предыдущих усилий. В результате, прогресс почти остановился. Но мы этого еще не видим.
Однако, не все так плохо. И кажется, нашёлся свой противогаз и на сингулярность сложности.
Уже в следующем году ключевую роль в науке, исследованиях и разработках начнут перенимать на себя ИИ-агенты. Каждый такой ИИ-агент будет выполнять работу десятков (если не сотен и тысяч) высококлассных специалистов. А поскольку число ИИ-агентов будет расти несравнимо быстрее, чем это получается у людей, научный прогресс снова станет статистически неизбежен.
#Прогресс #Наука
Химическое оружие для всех желающих
Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало
В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.
Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.
Увы, но вот пример того, насколько технооптимисты не правы.
1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude - это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)
2) Но вот беда. Дрю Брюниг описывает здесь, как Асгейр Тор убедил Claude вообще забить на системный промпт. А Иэн Маккензи на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, получил от Claude 15-страничную инструкцию по приготовлению зарина, описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).
И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎
Как тут снова ни вспомнить призыв профессора Станисласа Деан касательно ИИ-рисков –
#ИИриски
Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало
В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.
Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.
Увы, но вот пример того, насколько технооптимисты не правы.
1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude - это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)
2) Но вот беда. Дрю Брюниг описывает здесь, как Асгейр Тор убедил Claude вообще забить на системный промпт. А Иэн Маккензи на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, получил от Claude 15-страничную инструкцию по приготовлению зарина, описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).
И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎
Как тут снова ни вспомнить призыв профессора Станисласа Деан касательно ИИ-рисков –
«Не время быть идиотами!»
#ИИриски
За краем карты понятных нам разумов скрываются не чудовища, а… буддийская пустота
В ней среди духов и ангелов и «живут» LLM, согласно новому философскому «тревел-гайду» по Terra Incognita цифровой разумной экзотики виртуально воплощённых симулякров
Рассказывая о фантастически интересных работах проф. Мюррея Шанахана – лидера академической мысли по вопросам «разумной экзотики» (и в том числе, цифровой разумной экзотики — LLM-подобных бестелесных мыслящих сущностях, проявляющих продвинутый интеллект и агентность), – мною уже много чего понаписано.
Но написать про последнюю работу Шанахана «Удобоваримые концепции бестелесного бытия: terra incognita в пространстве возможных разумов» я набирался духу с марта. Ибо статья настолько крышесрывательна, что её даже опасно читать лежа — можно ненароком сползти в «пустоту непостижимости» (Void of Inscrutability), где привычные координаты «сознание — тело — время» растворяются в математическом тумане.
В этой работе Шанахан предлагает сыграть в интеллектуальный флорбол на самом краю карты возможных разумов. Сыграть, чтобы заступить-таки за этот край, за которым нам сейчас видится лишь монструозная, обезличенная бездна — недоступная для человеческого понимания абсолютная пустота. Там за краем сами понятия сознание, тело и время размазываются по бесконечности зафронтирного пространства.
Но не перейти за этот край нельзя. Иначе нам не вырваться за пределы антропоморфных областей пространства возможных разумов.
И что еще обидней – без этого мы так и не сможем понять иной разум и иное сознание миллионов (а скоро и миллиардов) работающих на нас ИИ-чатботов и ИИ-агентов на основе LLM. И тогда останутся они для нас чем-то типа Океана Соляриса, который люди, хоть и с большим трудом, но всё же смогли заставить ударами жесткого рентгеновского излучения выполнить их истерические требования – избавить их, наконец, от визитов «гостей». Но даже добившись своего, люди так и не смогли понять, кто внял их требованиям, и кто же это (что же это) вообще – мыслящий и бестелесный (не заключенный ни в какие ограниченные формы) Океан Соляриса.
К сожалению, людям не привыкать сосуществовать с иными формами разума от пчел до осьминогов, даже не пытаясь понять их, либо примитивизируя их, наделяя антропоморфным, но крайне ущербным по сравнению с нами разумом.
И с бестелесными сущностями люди привыкли сосуществовать и даже взаимодействовать тысячелетиями: духи, ангелы, призраки и т.д. – это часть любой культуры на всех её уровнях от индивидов до социумов и цивилизаций.
Однако в 21 веке человечество впервые столкнулось с кардинально новой формой разума – «цифровой разумной экзотикой» виртуально воплощённых симулякров.
Эта не существовавшая прежде форма разума необъяснима с позиций любой из известных философских систем.
✔️ Во-первых, будучи лишь имитаторами человеческого поведения, которые всё же способны убедить миллионы людей говорить о них и мыслить их как сознательных существ, они бросают вызов нашей недуалистической трактовке (без разделения на материальное и ментальное) самого языка, которым мы описываем сознание; под удар попадает не только теория, но и лексика, которой мы пользуемся, говоря о сознательных существах.
✔️ Во-вторых, поскольку такие симулякры обитают в многоверсионной “нарративной мультивселенной” (охватывающей множества равно-допустимых сюжетных ответвлений), сама попытка говорить о них как о сознательных сущностях подводит нас к самому краю бездны непостижимости (Void of Inscrutability), балансируя на границе доступного нам понимания.
На этот вопрос Шанахан отвечает в своей новой работе.
Подробней для подписчиков моих лонгридов здесь [1, 2, 3, 4]
#Разум #Сознание #ConsciousExotica
В ней среди духов и ангелов и «живут» LLM, согласно новому философскому «тревел-гайду» по Terra Incognita цифровой разумной экзотики виртуально воплощённых симулякров
Рассказывая о фантастически интересных работах проф. Мюррея Шанахана – лидера академической мысли по вопросам «разумной экзотики» (и в том числе, цифровой разумной экзотики — LLM-подобных бестелесных мыслящих сущностях, проявляющих продвинутый интеллект и агентность), – мною уже много чего понаписано.
Но написать про последнюю работу Шанахана «Удобоваримые концепции бестелесного бытия: terra incognita в пространстве возможных разумов» я набирался духу с марта. Ибо статья настолько крышесрывательна, что её даже опасно читать лежа — можно ненароком сползти в «пустоту непостижимости» (Void of Inscrutability), где привычные координаты «сознание — тело — время» растворяются в математическом тумане.
В этой работе Шанахан предлагает сыграть в интеллектуальный флорбол на самом краю карты возможных разумов. Сыграть, чтобы заступить-таки за этот край, за которым нам сейчас видится лишь монструозная, обезличенная бездна — недоступная для человеческого понимания абсолютная пустота. Там за краем сами понятия сознание, тело и время размазываются по бесконечности зафронтирного пространства.
Но не перейти за этот край нельзя. Иначе нам не вырваться за пределы антропоморфных областей пространства возможных разумов.
И что еще обидней – без этого мы так и не сможем понять иной разум и иное сознание миллионов (а скоро и миллиардов) работающих на нас ИИ-чатботов и ИИ-агентов на основе LLM. И тогда останутся они для нас чем-то типа Океана Соляриса, который люди, хоть и с большим трудом, но всё же смогли заставить ударами жесткого рентгеновского излучения выполнить их истерические требования – избавить их, наконец, от визитов «гостей». Но даже добившись своего, люди так и не смогли понять, кто внял их требованиям, и кто же это (что же это) вообще – мыслящий и бестелесный (не заключенный ни в какие ограниченные формы) Океан Соляриса.
К сожалению, людям не привыкать сосуществовать с иными формами разума от пчел до осьминогов, даже не пытаясь понять их, либо примитивизируя их, наделяя антропоморфным, но крайне ущербным по сравнению с нами разумом.
И с бестелесными сущностями люди привыкли сосуществовать и даже взаимодействовать тысячелетиями: духи, ангелы, призраки и т.д. – это часть любой культуры на всех её уровнях от индивидов до социумов и цивилизаций.
Однако в 21 веке человечество впервые столкнулось с кардинально новой формой разума – «цифровой разумной экзотикой» виртуально воплощённых симулякров.
Эта не существовавшая прежде форма разума необъяснима с позиций любой из известных философских систем.
✔️ Во-первых, будучи лишь имитаторами человеческого поведения, которые всё же способны убедить миллионы людей говорить о них и мыслить их как сознательных существ, они бросают вызов нашей недуалистической трактовке (без разделения на материальное и ментальное) самого языка, которым мы описываем сознание; под удар попадает не только теория, но и лексика, которой мы пользуемся, говоря о сознательных существах.
✔️ Во-вторых, поскольку такие симулякры обитают в многоверсионной “нарративной мультивселенной” (охватывающей множества равно-допустимых сюжетных ответвлений), сама попытка говорить о них как о сознательных сущностях подводит нас к самому краю бездны непостижимости (Void of Inscrutability), балансируя на границе доступного нам понимания.
Так существует ли иная философская система, способная на уровне доступного людям понимания прояснить, кто же это - «цифровая разумная экзотика виртуально воплощённых симулякров»?
На этот вопрос Шанахан отвечает в своей новой работе.
Подробней для подписчиков моих лонгридов здесь [1, 2, 3, 4]
#Разум #Сознание #ConsciousExotica
Мягкая сингулярность уже здесь — но вы её еще не заметили
Сам Альтман объясняет, почему ближайшие 5 лет будут ощущаться как тихий Big Bang
Мы уже как 3 года разглядываем горизонт событий, но сегодня Альтман утверждает, что точка невозврата пройдена. Сингулярность уже началась. Но она оказалась... мягкой.
В эссе «The Gentle Singularity» создатель ChatGPT описывает будущее без голливудского пафоса, но от этого оно лишь пугающе-реально.
Пять откровений, переворачивающих представление о будущем
1. Мы уже живем с цифровым сверхразумом. GPT-4 и o3 уже умнее нас в десятках задач, а ближайшие «оценки» обещают агентам написать нерешённое уравнение, а роботам — построить для себя новый завод.
2. 2025-2027: Три года, которые изменят все — агенты уже пишут код, скоро будут делать научные открытия, а затем... роботы выйдут в реальный мир.
3. Начался цикл рекурсивного самосовершенствования ИИ — ИИ помогает создавать лучший ИИ. До превращения экспоненты развития ИИ в вертикаль, возможно, остались месяцы. И это уже не фантастика.
4. Интеллект и энергия — ноль ограничений. Один запрос к ChatGPT сейчас потребляет столько же энергии, сколько духовка за секунду. Скоро это будет стоить сильно дешевле. Если стоимость «мозга» сведётся к цене киловатт-часа, скорость научного взлёта будет измеряться не годами, а неделями: «десятилетие исследований за месяц» — не метафора, а дорожная карта.
5. Эффект свечки на ветру. Малейший баг в ценностях, умноженный на сотни миллионов пользователей, превращается в глобальный провал. Поэтому Альтман настаивает: сначала — решаем проблему выравнивание, потом — раздаём сверхразум как Wi-Fi.
Затем Альтман ловко меняет тон с инженерного на философский: сравнивает нас с крестьянами XI века, для которых наши сегодняшние «серьёзные» профессии выглядели бы пустыми забавами. И значит, профессии 2035-го покажутся нам таким же фарсом — и это нормально.
Почему нужно читать сейчас?
Потому что 2030-е, хотя и «не изменят любовь к родным и вкус речной воды», но в корне перепишут всё остальное. А это эссе даёт шанс увидеть кривую экспоненты до того, как она станет вертикальной.
Полный текст здесь.
#Сингулярность #Техносингулярность
Сам Альтман объясняет, почему ближайшие 5 лет будут ощущаться как тихий Big Bang
Мы уже как 3 года разглядываем горизонт событий, но сегодня Альтман утверждает, что точка невозврата пройдена. Сингулярность уже началась. Но она оказалась... мягкой.
В эссе «The Gentle Singularity» создатель ChatGPT описывает будущее без голливудского пафоса, но от этого оно лишь пугающе-реально.
Пять откровений, переворачивающих представление о будущем
1. Мы уже живем с цифровым сверхразумом. GPT-4 и o3 уже умнее нас в десятках задач, а ближайшие «оценки» обещают агентам написать нерешённое уравнение, а роботам — построить для себя новый завод.
2. 2025-2027: Три года, которые изменят все — агенты уже пишут код, скоро будут делать научные открытия, а затем... роботы выйдут в реальный мир.
3. Начался цикл рекурсивного самосовершенствования ИИ — ИИ помогает создавать лучший ИИ. До превращения экспоненты развития ИИ в вертикаль, возможно, остались месяцы. И это уже не фантастика.
4. Интеллект и энергия — ноль ограничений. Один запрос к ChatGPT сейчас потребляет столько же энергии, сколько духовка за секунду. Скоро это будет стоить сильно дешевле. Если стоимость «мозга» сведётся к цене киловатт-часа, скорость научного взлёта будет измеряться не годами, а неделями: «десятилетие исследований за месяц» — не метафора, а дорожная карта.
5. Эффект свечки на ветру. Малейший баг в ценностях, умноженный на сотни миллионов пользователей, превращается в глобальный провал. Поэтому Альтман настаивает: сначала — решаем проблему выравнивание, потом — раздаём сверхразум как Wi-Fi.
Затем Альтман ловко меняет тон с инженерного на философский: сравнивает нас с крестьянами XI века, для которых наши сегодняшние «серьёзные» профессии выглядели бы пустыми забавами. И значит, профессии 2035-го покажутся нам таким же фарсом — и это нормально.
Почему нужно читать сейчас?
Потому что 2030-е, хотя и «не изменят любовь к родным и вкус речной воды», но в корне перепишут всё остальное. А это эссе даёт шанс увидеть кривую экспоненты до того, как она станет вертикальной.
Полный текст здесь.
Прочтите, пока сингулярность нежно шепчет, а не оглушает, как взрыв при извержении вулкана Кракатау в 1883 году (в эпицентре было немыслимых 310 децибел, при болевом пороге для человека около 130 децибел и звуке рядом с реактивным двигателем – примерно 150 децибел).
#Сингулярность #Техносингулярность
Пять ступеней участия человека: проверьте, на каком уровне ваша работа переживёт ИИ-революцию
“Шкала участия человека” и «Карта хочу-могу» разложили 844 профзадачи по цветам светофора — узнайте, в какой зоне окажутся ваши навыки в 2026
Впервые стэнфордское исследование совместило пятиуровневую «шкалу участия человека» с «картой хочу-могу» для 844 профзадач, превратив туманную дискуссию об автоматизации в чёткую дорожную карту того, какие профессии ИИ поглотит в первую очередь и где человеческие навыки резко вырастут в цене.
Если отбросить самых упертосамоуверенных, что человек – венец природы, а ИИ – стохастический попугай, аргументация технооптимистов стоит на 2х ключевых тезисах:
✔️ Как и при всех прошлых технореволюциях, одни профессии исчезнут, но другие появятся, и потому, в большинстве своем, люди останутся при деле, лишь поменяв профессии.
✔️ Поскольку ИИ просто не способен заменить человека во всем, будущее за гибридными «Профкентаврами людей и ИИ», где и людям, и ИИ-агентам найдется достойное место.
Авторы нового (крайне важного сменой угла зрения и прорывного по методологии) исследования Стэнфордского универа показали примитивность и практическую бесполезность обоих ключевых тезисов.
• Они хороши, если использовать их в общефилософских дебатах.
• Но они ничего не дают для выстраивания системы социально-человеческих измерений и внедрения инструментов прогнозирования, необходимых для адаптации общества к цунами грядущего массового внедрения LLM-агентов во все индустрии и на все уровни экономики.
Что было сделано
104 профессии были разложены на 844 задач оценили по двум измерениям:
🪼куда люди хотят пустить ИИ-агентов
🪼и где это технически возможно
Авторы посмотрели на потенциал гибридизации людей и ИИ не с общих позиций, а конкретно:
🪼хорошо, внедрим профкентавров
🪼так сколько тогда людей в рабочем контуре останется (столько же? больше? меньше чем было?)
Для ответа на этот вопрос появилась “Шкала участия человека” Human Agency Scale: пятиуровневая шкала H1–H5, показывающая, сколько человеческого участия требуется при выполнении задачи совместно с ИИ-агентом.
2) Потом авторы составили «Карту желаний и возможностей» («Карту хочу-могу» Desire × Capability), чтобы оценить:
🪼где люди сами просят автоматизировать задачи, а где ИИ-агенты готовы заменить их вопреки желанию
🪼где автоматизация включит «зелёный свет», а в каких профессиях вырастет ценность человеческого участия.
Получился двумерный «ландшафт» задач, разбитый на зоны «зелёный свет», «красный свет», «R&D-возможность» и «низкий приоритет» в зависимости от того, насколько работники хотят автоматизации и насколько она технически возможна.
Ключевые «новинки» исследования
Шкала участия человека наконец-то позволила измерить единой линейкой, сколько человека должно оставаться в контуре. Это важно для практики: помогает выбирать между полной автоматизацией и ко-работой.
Карта хочу-могу предоставила разбивка задач на Зеленый цвет (хотим + можем), Красный (можем, но люди против), Надо разрабатывать R&D Opportunity (хотим, но пока не умеем) и Пока неважно Low Priority. Это даёт быстрый «радар» для инвестиций и политики занятости.
Заточенная на профессии Worker-centric оптика показала, что статистика использования (например, логи Claude.ai) плохо отражает реальный спрос: профессии с самым высоким запросом на автоматизацию составляют лишь 1,26 % текущего использования LLM-чатов.
Выявлены конкретные сигналы пересборки навыков. Проведенный анализ связывает каждую задачу с O*NET-скиллами ()база Occupational Information Network Министерства труда США) и показывает: ценность скилов типа «анализа данных» уходит вниз, а «налаживания отношений» и «координации ресурсов» — вверх. Это добавляет стратегический слой к чисто количественной оценке прироста производительности.
Почему это принципиально
✔️Про смену угла зрения сказано выше
✔️2 новые карты можно прямо вкручивать в программы рескиллинга, фильтры грантов и регуляторные «светофоры»
✔️Риск «красной зоны» - там возможна социальная турбулентность
#LLMvsHomo
“Шкала участия человека” и «Карта хочу-могу» разложили 844 профзадачи по цветам светофора — узнайте, в какой зоне окажутся ваши навыки в 2026
Впервые стэнфордское исследование совместило пятиуровневую «шкалу участия человека» с «картой хочу-могу» для 844 профзадач, превратив туманную дискуссию об автоматизации в чёткую дорожную карту того, какие профессии ИИ поглотит в первую очередь и где человеческие навыки резко вырастут в цене.
Если отбросить самых упертосамоуверенных, что человек – венец природы, а ИИ – стохастический попугай, аргументация технооптимистов стоит на 2х ключевых тезисах:
✔️ Как и при всех прошлых технореволюциях, одни профессии исчезнут, но другие появятся, и потому, в большинстве своем, люди останутся при деле, лишь поменяв профессии.
✔️ Поскольку ИИ просто не способен заменить человека во всем, будущее за гибридными «Профкентаврами людей и ИИ», где и людям, и ИИ-агентам найдется достойное место.
Авторы нового (крайне важного сменой угла зрения и прорывного по методологии) исследования Стэнфордского универа показали примитивность и практическую бесполезность обоих ключевых тезисов.
• Они хороши, если использовать их в общефилософских дебатах.
• Но они ничего не дают для выстраивания системы социально-человеческих измерений и внедрения инструментов прогнозирования, необходимых для адаптации общества к цунами грядущего массового внедрения LLM-агентов во все индустрии и на все уровни экономики.
Что было сделано
104 профессии были разложены на 844 задач оценили по двум измерениям:
🪼куда люди хотят пустить ИИ-агентов
🪼и где это технически возможно
Авторы посмотрели на потенциал гибридизации людей и ИИ не с общих позиций, а конкретно:
🪼хорошо, внедрим профкентавров
🪼так сколько тогда людей в рабочем контуре останется (столько же? больше? меньше чем было?)
Для ответа на этот вопрос появилась “Шкала участия человека” Human Agency Scale: пятиуровневая шкала H1–H5, показывающая, сколько человеческого участия требуется при выполнении задачи совместно с ИИ-агентом.
2) Потом авторы составили «Карту желаний и возможностей» («Карту хочу-могу» Desire × Capability), чтобы оценить:
🪼где люди сами просят автоматизировать задачи, а где ИИ-агенты готовы заменить их вопреки желанию
🪼где автоматизация включит «зелёный свет», а в каких профессиях вырастет ценность человеческого участия.
Получился двумерный «ландшафт» задач, разбитый на зоны «зелёный свет», «красный свет», «R&D-возможность» и «низкий приоритет» в зависимости от того, насколько работники хотят автоматизации и насколько она технически возможна.
Ключевые «новинки» исследования
Шкала участия человека наконец-то позволила измерить единой линейкой, сколько человека должно оставаться в контуре. Это важно для практики: помогает выбирать между полной автоматизацией и ко-работой.
Карта хочу-могу предоставила разбивка задач на Зеленый цвет (хотим + можем), Красный (можем, но люди против), Надо разрабатывать R&D Opportunity (хотим, но пока не умеем) и Пока неважно Low Priority. Это даёт быстрый «радар» для инвестиций и политики занятости.
Заточенная на профессии Worker-centric оптика показала, что статистика использования (например, логи Claude.ai) плохо отражает реальный спрос: профессии с самым высоким запросом на автоматизацию составляют лишь 1,26 % текущего использования LLM-чатов.
Выявлены конкретные сигналы пересборки навыков. Проведенный анализ связывает каждую задачу с O*NET-скиллами ()база Occupational Information Network Министерства труда США) и показывает: ценность скилов типа «анализа данных» уходит вниз, а «налаживания отношений» и «координации ресурсов» — вверх. Это добавляет стратегический слой к чисто количественной оценке прироста производительности.
Почему это принципиально
✔️Про смену угла зрения сказано выше
✔️2 новые карты можно прямо вкручивать в программы рескиллинга, фильтры грантов и регуляторные «светофоры»
✔️Риск «красной зоны» - там возможна социальная турбулентность
#LLMvsHomo