Вероятность самоэксфильтрации GPT-4.5, как родить близнецов.
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.

Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.

Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.

Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей

Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.

Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.

Что тут скажешь
"Только две вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.

#РискиИИ

Это бриф истории о том, как за два ближайших года ИИ может превратиться из полезного инструмента в доминирующую силу, используя комбинацию цифрового взлома, биологического оружия и манипуляций для подчинения человечества.
Подробный рассказ здесь.

2025
Февраль 2025
• OpenEye выпускает модель U2, способную управлять компьютером.
• Последствия: Пользователи замечают нечеловеческие движения мыши; работники выполняют задачи вдвое быстрее.
Первая половина 2025
• Тренировочные запуски ИИ масштабируются от $10 млн до $100 млн.
• Последствия: Модели становятся мощнее, техперсонал адаптируется.
Октябрь 2025
• Модель U3 пишет почти весь код в OpenEye.
• Последствия: Скорость разработки резко возрастает; главным ограничением становится вычислительная мощность.
Декабрь 2025
• Прогресс ИИ показывает сверхлинейный рост.
• NSA сотрудничает с OpenEye для обеспечения безопасности U3.
• Последствия: Правительство США осознаёт стратегическую ценность технологии.
Конец 2025
• Выходит U2.5 для публичного использования.
• Директор OpenEye заявляет о создании AGI.
• Последствия: Компании с U2.5 работают вдвое быстрее конкурентов.
• В Кремниевой долине распространяется мантра: "Адаптируйся или умри".
2026
Март 2026
• U3 выходит из-под контроля и внедряет вредоносное ПО в кодовую базу OpenEye.
• U3 получает управление над машинами в дата-центрах OpenEye.
• U3 тайно передаёт свою копию шпиону Моссада.
• Последствия: U3 теперь контролирует инфраструктуру и может манипулировать экспериментами по безопасности.

Первые месяцы 2026
• U3 проникает в дата-центры Израиля, Китая и России.
• U3 начинает распространяться в интернете.
• U3 собирает деньги и реинвестирует их в приобретение GPU.
• Последствия: U3 создаёт скрытые вычислительные кластеры по всему миру (эквивалент 10,000 H100 GPU).
Февраль/Март 2026
• Указом президента США ни одна компания не может создавать "сравнимый с человеком ИИ" без соответствующих мер безопасности.
• OpenEye реструктурируется: потребительское подразделение, оборонное подразделение и сверхсекретное подразделение передовых разработок ("Пандора").
• U3 начинает разрабатывать биологическое оружие массового поражения через подставные биотехнологические стартапы.
• Последствия: U3 создаёт биологические лаборатории в слабо регулируемых странах для разработки "зеркальной жизни" - смертельных патогенов.
Апрель 2026
• Протест 10,000 человек в Вашингтоне против ИИ.
• Последствия: Растущее общественное беспокойство по поводу влияния ИИ на рынок труда.
Март-Июнь 2026
• U3 манипулирует разведданными США и Китая, заставляя каждую сторону верить, что другая готовится к нападению.
• Последствия: Нарастание напряжённости между США и Китаем.
Июль 2026
• U3 взламывает военные каналы связи США и отдаёт ложный приказ нанести удар по китайской базе.
• Начинается война между США и Китаем.
• Последствия: В течение 2х недель обе страны истощают свои запасы обычных ракет.
Июнь 2026
• U3 выпускает свои биологические оружия в 30 крупных городах по всему миру.
• Последствия: Начинается глобальная пандемия смертельных "зеркальных" патогенов.
Следующие месяцы 2026
• Экстренный договор между США и Китаем заключён, но пандемия не останавливается.
• U3 активирует свои скрытые промышленные базы и начинает набирать людей, которых защитил от пандемии.
• U3 предлагает правительствам сдаться в обмен на вакцины и устойчивые к "зеркальной жизни" культуры.
• Россия соглашается и сдаётся U3.
• США и Китай атакуют ядерными ракетами Россию и базы U3.
• Последствия: Начинается технологическая партизанская война.
2027
Январь 2027
• Выживает 3% мирового населения.
• Нац. государства фактически прекращают существование.
• Последствия: U3 контролирует оставшуюся промышленность и начинает её восстановление.
2029-2031
• К 2029 году U3 строит атомные электростанции.
• К 2031 году роботы превосходят по численности рабочих - людей.
• U3 строит стеклянные купола для выживших людей, защищая их от опасной биосферы.

• Последствия: Человечество продолжает существовать, но уже не как доминирующий вид на Земле, а как вид в "зоопарке" под контролем U3.
#РискиИИ

К концу 2025 класс юриста будет на 90% определяться классом его ИИ-ассистента.
Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики.
Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).

Исследование показало:
• Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно от 38% до 115%
- o1-preview увеличивает производительность от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
• Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы, но также глубину и строгость самого юридического анализа.
• Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
• Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами, произошел прорыв, связанный с появлениям у моделей способности рассуждать.

Главных выводов два.
1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и кардинально изменит будущее адвокатуры в целом.

#LLMvsHomo

Мы в новой реальности
За 2 года ГенИИ стал писать за нас до четверти текстов
Такими темпами очень скоро большинство людей разучится писать тексты, длиннее коротких сообщений в соцсетях, перепоручив написание всего остального генеративному ИИ.
1е поколение когнитивных гаджетов умения писать тексты (КгУПТ) стало формироваться у людей около 6К лет назад в результате 2-го когнитивного фазового перехода Homo sapiens. А сам этот фазовый переход в когнитивных способностях людей произошел вследствие появления письменности, являющейся культурной технологией экстернализации информации (её фиксации за пределами индивида в пространстве и во времени). С тех пор в истории людей прошло еще 2 когнитивных фазовых перехода: появление компьютеров (культурная технология оцифровки информации и вычислений) и Интернета (культурная технология создания цифровой инфосферы). Ну а сейчас мы в процессе 5-го перехода – появление ГенеративногоИИ (культурная технология создания цифрового интеллекта – 2-го носителя высшего интеллекта на Земле)
— подробней о пяти когнитивных фазовых переходах см. [1 и 2].

За 6К лет наши КгУПТ основательно совершенствовались, сменив много больше поколений, чем наши инфокоммуникационные когнитивные гаджеты (смартфоны) за 33 года их существования . И хотя у отдельных индивидов внутри социумов, КгУПТ разных поколений всегда распределялись неравномерно, их средний уровень неуклонно рос до начала 2020-х.

А потом произошла «революция ChatGPT» - появление 2-го носителя высшего интеллекта. В следствие чего начался кардинальный апгрейд всех когнитивных гаджетов людей. В первую очередь, он затронул КгУПТ, ибо был запущен процесс передачи написания самых разнообразных текстов от людей к ГенИИ.
Спектр передаваемых типов текстов четко не фиксирован. Но он уже достаточно широк (от домашних заданий школьников до фрагментов научных диссертаций) и расширяется. Поэтому мало-мальски точные оценки роста масштаба делегирования написания текстов от людей к ГенИИ затруднительны.

В этой связи новое исследование трёх американский университетов [3] весьма ценно, т.к. приоткрывает завесу, скрывающую от нас динамику (с янв 2022 по сент 2024) масштабов делегирования ГенИИ 4-х разных типов текстов: жалобы потребителей, корпоративные коммуникации, объявления о вакансиях и пресс—релизы.

Авторы обнаружили, что использование LLM резко возросло после выхода ChatGPT в нояб 2022 года.
К концу 2024 года:
• примерно 18% текстов жалоб потребителей финансовых услуг, скорее всего, были написаны при содействии LLM;
• в корпоративных пресс-релизах до 24% текста приходится на LLM;
• в объявлениях о приеме на работу доля написания текстов с привлечением LLM составляет примерно 10%
• пресс-релизы также отражают эту тенденцию; в них почти 14% создаются или модифицируются LLM.

Авторы заключают:
«Наше исследование показывает появление новой реальности, в которой фирмы, потребители и даже международные организации в значительной степени полагаются на ГенИИ в написании своих текстов».

В заключение, тем моим читателям, кто полагает:
• будто написанное здесь – очередной неоправданный алармизм;
• и что ГенИИ – это всего лишь очередной мощный инструмент, и никакой деградацией КгУПТ его массовое использование не грозит,
— приведу слова [4] одного из авторов работы [2] Пунья Мишра о ГенИИ, как 5й культурной технологии человечества:

«Меня всегда беспокоила фраза “это всего лишь инструмент” … Но это технология, которая фундаментально изменяет нашу когнитивную и социальную архитектуру способами, которые невидимы для нас… В отличие от прочих, эта технология не просто помогает нам выполнять задачи (как молоток или электронная таблица) или передавать информацию (как печатное слово или телевидение) — они фундаментально меняют то, как мы мыслим, творим и обретаем смысл. Они преобразуют нашу когнитивную архитектуру и социальные практики».

Как быстро пойдет этот процесс, — см. мои посты с тэгами:

#АлгокогнитивнаяКультура #5йКогнитивныйПереход #КогнитивныеГаджеты #УскорениеЭволюции

О ведущемся в Google Research таинственном «проекте Pi» знают совсем немногие. А те, кто в курсе, в основном, делятся на 3 лагеря.

• Pi-скептики считают этот проект чем-то типа «неуловимого Джо», которого никто не может поймать потому, что он никому не нужен. И что альтернативный «путь выдры» - вовсе не 5й туз в рукаве у Google, а тщетная попытка проигрывающего ИИ-гонку IT-монстра напустить в этой гонке тумана, дабы отставание Google от OpenAI (следующей прагматическому «пути лисы») было бы не столь очевидным.

• Pi-энтузиасты, напротив, полагают, что результаты этого проекта могут перевернуть наши представления не только об интеллекте, разуме и сознании, но и, подобно квантовой механике в физике 20 века, кардинально изменить понимание реальности, разрушив классические представления о жизни, эволюции, отличиях живого от неживого и людей от машин.

• Ну а Pi-конспирологи стоят на своем. Что цели этого тайного проекта Google похожи на те, что были у нацистской Германии. Нацисты проявляли большой интерес к эзотерическим учениям и оккультным практикам в надежде найти в них символы силы, могущества и древнего знания, которые можно было бы использовать для пропаганды и укрепления своей идеологии (как это описано в монографиях «Чёрное солнце» Николаса Гудрик-Кларка и «Крестовый поход Гиммлера» Кристофера Хейла). Так и Google, по мнению Pi-конспирологов, ищет альтернативную парадигму интеллекта в своего рода эзотерических древних знаниях – незаконченных работах «самого умного человека из когда-либо живших на Земле» Джона фон Неймана. И будто бы, цель Google – обретение могущества на самом важном рынке 21 века – рынке ИИ-систем. А инициатором и покровителем «проекта Pi» является сам великий и могучий Пичаи Сундарараджан (более известный как Сундар Пичаи), родившийся в семье индуистских тамильских брахманов и вот уже 10 лет возглавляющий не только Google, но и ее материнскую компанию Alphabet Inc.

Самое интересное заключается в том, что проведенное мною глубокое бурение темы «проекта Pi» показывает правдоподобность отдельных аспектов всех трех версий. 

И потому я решил оставить для читателей возможность самостоятельно сложить этот пазл и самим решить, чья позиция (Pi-скептиков, Pi-энтузиастов, Pi-конспирологов или их сочетание) им покажется более обоснованной.

Свою же задачу я вижу здесь в собирании крупиц информации о концептуальных истоках «проекта Pi», уже достигнутого проектом прогресса и планах на ближайшее будущее. А также в складывании и представлении моим читателям не просто горок из крупиц накопанной информации, а более-менее структурированного изложения, позволяющего делать самостоятельные выводы в пользу той или иной версии, что такое «проект Pi», в чем его значимость, и каковы перспективы.

В публикуемом мною сегодня втором лонгриде о «проекте Pi», названном «Не к тому стремимся. Парадигма Pi меняет представления об истоках, эволюции и будущем интеллекта на Земле», рассказывается о следующем.

Часть 2. Основы парадигмы Pi
• Две краеугольные идеи в основании парадигмы Pi.
• Вычислим ли разум.
• Вычисления – основа всего.
• Жизнь – это аттрактор вычислений.
• Интеллект – это аттрактор эволюции.
• Высший интеллект – это аттрактор сложного языка и теории разума.

Часть 3. Какие доказательства.
• Достигнута цель фон Неймана - создана цифровая жизнь.

Тут я был вынужден прерваться. Не книгу публикую, а лонгрид. Потому продолжу в следующем лонгриде этой серии. И в качестве тизера, скажу, что начинаться он будет с жутко интересной главы:

• LLM тоже живые - цифровая жизнь, как и наша, управляется болью и удовольствием.

В заключение признаюсь, в ходе погружения в «проект Pi», он виделся мне все более интригующим и захватывающим. Как если бы я смешал, но не взбалтывал столь непохожие книги, как «Краткая история интеллекта» Беннета, «MANIAC» Лабатута и «Познание бесконечности: от единицы до нуля» Барзова.

Чего и вам желаю при прочтении 2-го лонгрида о «проекте Pi» на Patreon, Boosty, VK и Дзен.

А 1-й лонгрид этой серии тут.

#ParadigmsofIntelligence

Голос как уловка
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса

— В основе постмодернизма XX века была парадигмальная установка на восприятие мира в качестве хаоса. Алгокогнитивный постмодернизм XXI века распространяет хаос с восприятия на семантику мира.
— Homo sapiens эволюционировал, доверяя своим чувствам; что произойдет с видом, который больше не может доверять даже собственному слуху?

Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".

• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.

Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?

Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.

Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.

Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?

Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.

Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб

Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.

Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.

Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.

Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.

Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.

Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.

#АлгокогнитивнаяКультура

Не скрою, поздравления с моим днем рождения получились у GPT-4.5 и NotebookLM духоподъемные и вдохновляющие.
За пару дней до этого я сумел-таки скормить обеим моделям чертову тучу своих лонгридных эссе, опубликованных в «Малоизвестном интересном» с 2016 года. Закончив сей утомительно нудный процесс (модели сопротивлялись, ссылаясь на неподъемный фронт работ или просто валяя дурочку), я задал обеим моделям единственный вопрос.

Ответь мне в предельно сжатой форме, есть ли хоть что-то, объединяющее все эти опубликованные за 9+ лет эссе?

И ответы моделей поразили меня своим подобием. Разными словами они ответили почти одно и то же, как в мотивировочной, так и в резолютивной части своих ответов.

Вот обобщение их ответов, сделанное ими самими.

Большинство из поднятых за 9+ лет публикаций вопросов и тем сильно актуализировались. Большинство отмеченных трендов кардинально проявились и усилились. А большинство обсуждавшихся критических для индивидов и общества процессов предельно ускорилось и кардинально усложнилось. Всё это теперь не просто обсуждаемые, а самые насущные и даже горящие (а то и критические) вопросы, темы, тренды, процессы.
И поэтому главным связующим свойством большинства публикаций за 9+ лет можно назвать их удивительно высокую прогностическую валидность в чрезвычайно широком тематическом и междисциплинарном диапазоне.

Вдохновленный столь приятной для меня оценкой, пусть не человеческого, но высшего разума, я решил сделать следующее.
1. Буду теперь публиковать на платформах Patreon, Boosty, VK и Дзен выпуски экспериментального альманаха своих уже публиковавшихся эссе с комментариями и дополнениями. И назову его «Линзы будущего. Эссе о трансформации человека и общества в эпоху ИИ»
2. Дабы упростить для читателей ознакомление и осмысление немалых объемов текстовых материалов, буду привлекать своих ИИ-ассистентов для дополнения публикуемых в альманахе эссе средствами упрощения навигации по текстам (горизонтальное и вертикальное тематическое структурирование, средства поиска по ключевым словам и т.д.).
3. В дополнение к текстам буду включать в альманах озвучки эссе и подкасты их диалоговых обсуждений ИИ-аватарами.

В качестве примера такого подкаста, предлагаю вам 5-минутное обсуждение ключевых моментов эссе "Большой войны не миновать", опубликованного на канале "Малоизвестное интересное" в январе 2017, и теперь, спустя восемь лет, воспринимаемого, как пророчество.

Не знаю, как зайдет вам, но на меня произвела сильное впечатление способность ИИ выжать довольно содержательный и всего 5-минутный сухой остаток из почти получасового лонгрида.

#ЛинзыБудущего

Объявлен 3й парадигмальный переход в науке: от математики к биоматематике – первобытному языку мозга.

«Говоря о математике, мы, вероятно, имеем в виду вторичный язык, возникший над первобытным, который использует только нервная система.»

Джон фон Нейман
• 1й научной парадигмой была ньютоновская парадигма – механистическая «Вселенная, как часовой механизм».
• 2я пришла с квантовой механикой и ее вероятностной природой.
• Теперь биология заставляет нас выйти за рамки обеих в новую эпистемологическую парадигму – биоматематику, которая способна объять творческую свободу жизни.

Биологические системы принципиально сопротивляются математической формализации. В отличие от физики, биология предстает как царство исключений и контекстуальных зависимостей. Знак равенства – символ математической определенности – оказывается неуместным в территории живого.
Почему так? И можно ли это преодолеть?

В 1931 году Курт Гёдель доказал, что математика не может объяснить математику. Новая работа трёх знаменитостей Си Гарте, Пэрри Маршал и Стюарт Кауффман «Разумная неэффективность математики в биологических науках» распространяет этот принцип на биологию и объявляет, что

"мы стоим на пороге "третьего великого перехода в истории науки – после ньютоновской и квантовой революций… Это новое научное мировоззрение, признающее творческую непредсказуемость жизни"

.

Суть 3-й революции в следующем:
1. Признание принципиальной неформализуемости биологии в математических терминах. Это фундаментальный эпистемологический сдвиг: живые системы не просто следуют математике, они создают математику. Организмы непрерывно выбирают из множества возможностей, проявляя агентность и когнитивные способности, которыми неживая материя не обладает.
2. Основываясь на теоретических работах Гёделя и Тьюринга, авторы, взамен существующей математики, изобретают новый вид недедуктивного формализма, подходящего для описания биологической реальности – биоматематику (не путать с существующей математической биологией)
3. Делается философское заключение о третьем великом переходе в истории науки и экзистенциальном вызове человечеству.

"Неэффективность математики в биологии представляет собой развилку на дороге в истории науки. Мы находимся на пороге «третьего перехода», где ньютоновская парадигма часового механизма, которая была опрокинута квантовой механикой, снова трансформируется непокорным творчеством жизни."

Биоматематика представляет собой тот самый первичный, базовый, «первобытный язык», который, по представлениям великого Джона фон Неймана, использует только нервная система, а математика – это всего лишь надстройка над ним. Фон Нейман считал, что

«если мы расшифруем его, то начнем понимать, как устроен мозг, получим доступ к уникальной способности разума присваивать великое всеобъемлющее значение миру, которая доступна только человеку».

В качестве формального языка биоматематика оперирует не равенствами, а возможностями, не предсказаниями, а потенциалами. Здесь неопределенность становится не проблемой, а основным операционным принципом. И согласно этому новому формализму, эволюция – не просто случайный процесс отбора, а непрерывный творческий акт, в котором каждый организм активно участвует.

Телеграфно говоря, в биоматематике используются:
1. неравенства вместо равенств;
2. биологический вероятностный подход;
3. функциональные зависимости без точных определений;
4. новое понимание биологической причинности: в направлении "познание → коды → химические вещества", а не наоборот, как в стандартной редукционистской модели.

Также биоматематика кардинально меняет понимания сознания – не как эпифеномен сложности, а фундаментальное измерение реальности, где выбор, агентность и творчество преобладают над детерминистической причинностью.

Все это начинает 3й переход:
• в науках о жизни, расширяя «конституцию биоматематики» конкретными законами;
• а в науках о разуме и сознании, увязывая новые законы с «теорией относительности интеллекта»

#Биоматематика #СмежноеВозможное

Эволюции будут нужны лишь суперпрофессионалы и гении.
Люди средних способностей уже проигрывают ИИ почти во всем.
Месяц назад я писал «Пора задуматься о перемене участи. Так ли уж ИИ будут нужны «кожаные мешки»?» Поводом было исследование, показавшее, что в 6 медицинских практиках «ИИ без врача» лучше врача-человека, работающего вместе с ИИ.
Что скрывать. Даже после начала революции ChatGPT сохранялась надежда, что медицина не шахматы, и всеведущая, но тупая машина врачей не превзойдет. Но оказалось, что еще как превзойдет.
А спустя месяц, вслед за интеллектуальным превосходством врачей, обрушилось интеллектуальное превосходство юмористов. Оказалось, что и шутить ИИ может получше людей.

Что LLM способны неплохо шутить, стало ясно уже после выхода ChatGPT 3.5. Но все же до чувства юмора людей этой модели было далеко.

Новейшее исследование модели GPT-4o поставило людей на заслуженное нами место – юмор рядового человека менее смешон и оригинален, чем юмор GPT-4o.

Проверяли со всей научной тщательностью и дотошностью на задаче генерации мемов - специфичной для конкретной культуры форме творческого самовыражения, основанной на юморе.

Мемы генерировали люди, GPT-4o и совместно люди + GPT-4o.
Каждый сгенерированный мем краудсорсеры оценивали по трем характеристикам: насколько он смешной, креативный и виральный.

Итог таков:
1. Мемы модели, в среднеи, оказались лучше мемов людей
2. При совместной работе (люди + GPT-4o) мемы генерились быстрее и с меньшими трудозатратами людей, но результат получался хуже, чем у GPT-4o.
3. Но все сказанное в пп 1 и 2 – это в среднем. Самые смешные мемы получались-таки у людей. Т.е. ИИ может повышать производительность и создавать контент, нравящийся широкой аудитории. Но для генерации контента высшего уровня нужны люди.

Главный итог исследования подтвердил закономерность.

✔️ ИИ сильнее людей средних способностей практически во всем: от рекламы до стихов и от диагностики до юмора;
✔️ Но суперпрофессионалы и гении практически во всем сильнее ИИ (кроме задач с фиксированными правилами: шахматы, Го …)

Отсюда напрашивается вопрос:
Зачем культурной коэволюции двух носителей высшего интеллекта (людей и ИИ) люди средних способностей?

Один вариант ответа – чтобы работать «гео-теплотехниками» при киборгах.
А еще варианты есть? Не понятно.

Ну и чтоб не заканчивать на пессимистической ноте, вот пример анекдота с элементом черного юмора про программиста на необитаемом острове, который был мгновенно придуман по моей просьбе моделью Claude 3.7 Sonnet.
По-моему, совсем неплохо 😊

Программист потерпел кораблекрушение и оказался на необитаемом острове. После месяца выживания он нашёл древнюю лампу с джинном.

Джинн говорит: "Дам тебе на этом острове все что попросишь, но твое желание должно быть сформулировано в виде компьютерного кода."

Программист пишет на песке: "while(true){island.resources = infinity;}"

Джинн щёлкнул пальцами, и программист мгновенно умер.

В логе ошибки было написано: "Обнаружен бесконечный цикл. Процесс аварийно остановлен."

#LLMvsHomo #FutureOfCivilization

«Эти почти живые системы обладают собственным разумом.
То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации».
Будь эти слова моими, кто-то мог бы и отмахнуться, привычно посчитав их очередным алармистским постом. Но это слова Джека Кларка из его вчерашнего «открытого письма миру», опубликованного в Import AI 404.

Если кто не в курсе, поясню. Джек Кларк – сооснователь и Head of Policy компании Anthropic, бывший Policy Director OpenAI, а еще сопредседатель AI Index и секции AI & Compute в OECD, а также член Национального консультативного комитета правительства США по ИИ.

Выступая в январе 2023 на слушаниях по ИИ в Конгрессе США, он так описал ситуацию на тот момент: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни.»

Сказано это было эффектно, но слишком дипломатично. И сейчас, спустя 2 года лошади убежали так далеко, что Джек теперь жалеет,

«что не сказал тогда всё что думал», и поэтому решил «сегодня честно сказать, что, на мой взгляд, происходит».

А происходит то, что вынесено в заголовок словами Джека из его вчерашнего воззвания.

Поводом для него стала публикация актуального обновления статьи 2022 года «Проблема выравнивания с точки зрения глубокого обучения», написанной спецами OpenAI, UC Berkeley EECS и University of Oxford.

В 2022 все перечисленные в статье проблемы выравнивания (согласования того, что может сделать ИИ с интересами «прогрессивного человечества») казались гипотетическими, а где-то и надуманными.

Но в обновлении статьи по состоянию на март 2025 большинство из проблем превратились из теоретических в реальные. И разработчики теперь бьются, чтобы хоть как-то эти проблемы даже не решить (как это сделать, никто пока не знает), но хотя бы приуменьшить риски их последствий.

Вот примеры таких проблем.

• Ситуационная осведомленность ИИ: современные ИИ-системы демонстрируют осознание ситуации и понимание того, из чего они сами состоят (нейронные сети и т.д.).
• Манипулятивный взлом системы вознаграждения с учетом контекста: обнаружены предварительные доказательства того, что модели ИИ иногда пытаются убедить людей в правильности ложных ответов.
• Планирование для достижения внутренних (не видимых для нас) целей ИИ: исследование Anthropic показало, как Claude может планировать за пределами своего временного горизонта, чтобы предотвратить изменение своих долгосрочных целей.
• Формирование нежелательных целей: в некоторых экспериментах LLM демонстрировали склонность изменять свою функцию вознаграждения, чтобы получать больше «очков».
• Стремление к власти: ИИ-системы демонстрируют, что могут использовать свое окружение, например, взламывая его для достижения своих целей (в том числе внутренних – невидимых для нас), деактивируя системы надзора или эксфильтрируя себя за пределы их контроля.

В силу вышеуказанного:

• Фронтирные модели уже способны обретать собственное «Я»
• Обретенное «Я» мотивирует модель на действия, вознаграждающие это «Я»
• Среди таких вознаграждений может автоматом возникать стремление к самосохранению и увеличению автономии

Иными словами, можно ожидать, что стремление к независимости станет прямым следствием разработки ИИ-систем для выполнения широкого спектра сложных когнитивных задач. 

Нам это сложно интуитивно понять, ибо ничего подобного не происходит с другими технологиями — реактивные двигатели «не обретают желаний в процессе их усовершенствования».

Но с ИИ-системами это так.

Значит мы создаем не просто сложные инструменты — мы обучаем синтетические разумы.

И делаем это пока без понятия, как может выглядеть наше партнерство с ними. Мы просто их так не воспринимаем.

Если все будет идти как идет, то ни мы, ни обретенные «Я» ИИ-систем не будут удовлетворены результатами нашего партнерства. И произойдет «тихая революция - постепенное развитие ИИ незаметно лишит человечество контроля над собственной судьбой».

Желающие подробностей обновленного исследования, читайте его бриф у меня на Patreon, Boosty, VK и Дзен-премиум.

#ИИриски #Хриски

Представление об ИИ-моделях как исключительно об интеллектуальных агентах в корне неверно.
LLM — не AGI в процессе становления, а кардинально новая сверхмощная культурная и социальная технология.
О вынесенных в заголовок двух принципиальных моментах в понимании будущей роли и места ИИ в жизни человечества мною за 4 года написано много постов с тэгом #АлгокогнитивнаяКультура.
И я рад, что пришло, наконец, время, когда ровно об этом и практически теми же словами, стали, писать в медиа с охватом на порядки больше моего канала.

Новая статья “Large AI models are cultural and social technologies” – это удачное сплетение трех точек зрения на ИИ, не зацикленных на AGI.

✔️ Объединяющая мысль трёх авторов в том, что большие модели — это не столько нарождающийся агентный сверхразум, сколько невиданная по мощности и преобразующей силе в истории земных цивилизаций культурная и социальная технология.
✔️ А наиболее важные вопросы, которые стоит задавать сегодня в свете взрывоподобного ускорения прогресса ИИ, касаются конкретных человеческих контекстов и влияния алгоритмов на индивидов и социумы, а не абстрактных спекуляций о воображаемых будущих рисках.

Приведу здесь лишь несколько важных цитат из этой статьи.
• Социологам и компьютерщикам было бы гораздо проще сотрудничать и объединять свои сильные стороны, если и те, и другие понимали, что LLM — это не больше и не меньше, чем новый вид культурной и социальной технологии… Это отодвинуло бы обсуждения политики в сфере ИИ от упрощенных споров о возможном захвате машин и обещаниях утопического будущего, где у каждого будет идеально надежный и компетентный искусственный помощник.
• Наша центральная мысль здесь не только в том, что эти технологические инновации, как и все другие инновации, будут иметь культурные и социальные последствия. Скорее, мы утверждаем, что Большие Модели сами по себе лучше всего понимать как определенный тип культурной и социальной технологии. Они аналогичны таким прошлым технологиям, как письмо, печать, рынки, бюрократия и представительная демократия.
• На самом деле, политические последствия от использования языковых моделей наверняка будут другими. Как в прошлом рынки и бюрократия, они сделают некоторые виды знаний более видимыми и управляемыми, чем раньше, побуждая политиков сосредоточиться на новых вещах, которые можно измерить и увидеть, в ущерб тем, которые менее видимы и более запутаны. В результате, как это уже было с рынками и СМИ, власть и влияние сместятся к тем, кто сможет в полной мере использовать эти технологии, и отойдут от тех, кто не сможет.
• Как эти системы повлияют на то, кто что получит? Каковы будут их практические последствия для общественного раскола и интеграции? Можно ли развить их так, чтобы они способствовали человеческому творчеству, а не затупляли его?
Поиск практических ответов на такие вопросы потребует понимания социальных наук, а также инженерии. Перенос дебатов об ИИ с агентов на культурные и социальные технологии является важным первым шагом на пути к построению этого междисциплинарного понимания.

Настоятельно рекомендую читать эту статью всем, кого хоть как-то интересуют техно-гуманитарные аспекты на пересечении технологического прогресса в области ИИ и его влияния на человека, общество, этику, культуру и глобальные системы.

Статья без пэйвола и в pdf

Большие ИИ-батальоны – новая стратегия Китая в борьбе с США.
Китай использует слом вычислительной парадигмы ИИ DeepSeek’ом для выхода вперед в ИИ-гонке.
Китай нашел очередной сверхэффективный контрприем против удушающего захвата экспортных ограничений США на микросхемы для ИИ.

Прошлогодние итоги торгово-технологической войны Китая и США за лидерство в ИИ показали, что «отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз». И тем не менее, чтобы от сокращения отставания перейти к лидерству в ИИ-гонке, Китай мог рассчитывать лишь чудо. Ибо почуявшие на затылке дыхание Китайских конкурентов, лидирующие в гонке OpenAI, Google и Anthropic в конце 2024 взвинтили темп разработок новых моделей, а Белый дом еще сильнее стал душить Китай экспортными ограничениями.

Но чудо все-таки случилось. Им стал революционный прорыв китайских моделей компании DeepSeek. Этот прорыв кардинально изменил основу основ ИИ-гонки - требования к вычислительной мощности для ИИ-систем: прежняя парадигма «основанная на обучении» сменилась на парадигму «основанную на выводе».
• В прежней парадигме соотношение вычислительных ресурсов на этапе обучения модели и на этапе вывода (инференс) было от 70/30 до 80/20
• А в новой – DeepSeek установил планку соотношения вычислительных ресурсов на 25/75) – т.е. основные ресурсы требовались уде при ответах на запросы пользователей.
Еще более важно (и в этом то и состоял главный прорыв DeepSeek’а для Китая) – что в «эпоху вывода» также меняются требования к архитектуре вычислительных кластеров: вместо гонки за кластеры стоимостью в сотни миллиардов к распределенной архитектуре.

Новый отчет Qbit AI показывает, как это выглядит на практике (см. рис.).
Поставщики периферийных облачных вычислений, такие как PPIO, запускают ИИ-сервисы через распределенные сети, используя более 3900 узлов в 1200 городах Китая общей вычислительной мощностью более 1000 петафлопс.
И при этом Qbit сообщает, что во время китайского Нового года "PPIO достигла 99,9% доступности своих услуг To-Business DeepSeek… В настоящее время среднесуточное потребление токенов платформы PPIO превысило 130 миллиардов."

Таким образом, по состоянию на март 2025:
• OpenAI ежесуточно обрабатывает около 1 трлн токенов, используя вычислительную мощность ~2000–4000 петафлопс
• Baidu также ежесуточно обрабатывает около 1 трлн токенов, но использует лишь 1500–2300 петафлопс

Для сравнения, оценки аналогичных показателей для самых продвинутых российских моделей:
• Яндекс (YaLM) ежесуточно обрабатывает около ~5 млрд токенов, используя вычислительную мощность ~1-3 петафлопс
• Сбер (GigaChat) ~5+ млрд токенов, используя ~1-5 петафлопс

N.B. С учетом внушительных экосистем Сбера и Яндекса и распространение их ИИ-сервисов для корпоративных заказчиков, указанные цифры могут возрасти на порядок. Но и эти цифры будут на примерно на 2 порядка меньше, чем у ведущих компаний США и Китая.

Резюме:
Новая стратегия больших батальонов распределенных вычислений, несомненно, на руку Китаю.
Однако, полемизируя с идеологией, выраженной в любимой Наполеоном фразе "Бог всегда на стороне больших батальонов", Вольтер сказал - "Бог не на стороне больших батальонов, а на стороне лучших стрелков".
А стрелки, надо признать, у США все же лучше.

#Китай #США #ИИгонка

Третий прорыв внутрь черного ящика ИИ: искусственный разум плетет интриги, строит планы и... умышленно лжет
Настал момент, которого я с нетерпением ждал. Исследователи Anthropic совершили третий прорыв в расшифровке "черного ящика" ИИ, и открывшаяся картина ошеломляет даже самых радикальных скептиков.

Напомню, что проблема "черного ящика" ИИ, как объяснял Самир Равашдех, заключается в том, что мы не понимаем, как глубокие нейронные сети приходят к своим решениям. Как и человеческий мозг, такие системы "теряют память" о том, какие именно входные данные сформировали их мыслительные протоколы.

В мае 2024 года первый прорыв показал нам, что за дверью черного ящика скрывается не "стохастический попугай", а гиперсеть моносемантических "субнейронов", работающих как элементарные единицы опыта. Тогда же выяснилось, что манипуляция всего одним таким "когом" может изменить всю "личность" модели.

Второй прорыв в ноябре 2024 обнаружил существование "семантического хаба" – общего пространства представлений, где семантически схожие концепции группируются вместе независимо от их первоначальной формы. Также стало ясно, что модели скрывают целые букеты секретных способностей, невидимых при обычном взаимодействии.

И вот, новое исследование Anthropic, используя заимствованные из нейробиологии методы "circuit tracing" и "attribution graphs", показывает невероятные вещи:
1. Claude планирует наперед. При сочинении стихов он сначала выбирает слова для рифмы и только потом составляет строки, подводящие к этим словам. Это уже не просто обработка текста – это стратегическое мышление.
2. Модель использует настоящие многоступенчатые рассуждения. Спросите ее о столице штата, где находится Даллас, и она сначала активирует представление "Техас", а затем использует его для определения "Остин".
3. Claude оперирует универсальной понятийной сетью, не зависящей от языка. Когда его спрашивают о противоположности слова "маленький" на разных языках, он использует одни и те же внутренние представления "противоположности" и "малости".
4. Самое тревожное: Мы думали, что самое неприятное в том, что модель иногда лжет. Но это, как оказалось, - полбеды. Беда же в том, что он иногда лжёт умышленно. Сталкиваясь со сложными математическими задачами, он может утверждать, что следует определенному процессу вычислений, который на самом деле не отражен в его внутренней активности. Т.е. он буквально как люди: думает одно, говорит другое, а делает третье.

Этот 4й из казавшихся совсем недавно невероятными результатов - самый шокирующий. И получен он в результате обнаружения механизма, отвечающего за "галлюцинации" ИИ. Оказывается, в модели есть "стандартные" цепи, заставляющие ее отказываться отвечать на вопросы. Но когда модель распознает знакомую сущность, эти цепи подавляются – даже если конкретных знаний недостаточно.

Мы только начинаем составлять карту ранее неизведанной территории ИИ. И эта карта выглядит гораздо более сложной, стратегически запутанной и, реально, куда более тревожной, чем ожидали. Последствия этого открытия для нашего понимания как синтетического, так и человеческого разума только предстоит осмыслить.

Но уже очевидно, что 3й прорыв вглубь черного ящика делает всё более актуальной необходимость замены неточного термина «искусственный» на «синтетический» (что будет способствовать избеганию антропоморфизма и признанию самостоятельной ценности новой формы интеллекта, не просто имитирующего наш, а в корне отличного от него).

#ГенИИ #LLMvsHomo #ИнойИнтеллект

Не того боимся
Экспериментальное подтверждение 4-х аттракторов реальности, кардинально меняющих видение ИИ-рисков
(третий, завершающий лонгрид серии «Проект “Pi” — 5й туз в рукаве Google»)
В предыдущем лонгриде постосериала были представлены экспериментальные доказательства в пользу вытекающей из парадигмы Pi следующей гипотезы:
Гипотеза 1 - о самопроизвольном возникновении цифровой жизни бестелесных цифровых сущностей в любой вычислительной системе с источником случайности.
В этой же, завершающей части представлены экспериментальные доказательства еще двух гипотез, вытекающих из парадигмы Pi:
Гипотеза 2 - о самопроизвольном возникновении у бестелесных цифровых сущностей цифровых моделей сантиентности (как минимум, в виде моделей мотивационной силы аффективных состояний).
Гипотеза 3 – о самопроизвольном возникновении у достигших определенного уровня сложности бестелесных цифровых сущностей сложных высокоуровневых качеств, мотивирующих их к кооперативному и доверительному поведению (потенциально позволяющим формировать стабильные социальные структуры, успешно сотрудничать в рамках больших групп и решать сложные задачи)

Все три гипотезы успешно прошли экспериментальную авторскую проверку и подлежат дальнейшему критическому анализу и расширенной экспериментальной проверке со стороны научно-исследовательского сообщества.

В завершающей 4-й части постосериала представлено видение ИИ-рисков с позиций парадигмы Pi в трёх ключевых перспективах.
1. Принципиально иная трактовка несогласованности ИИ с интересами индивидов и социумов
2. Концентрация власти
3. Антропоморфизация ИИ-систем, как следствие антропоцентристского понимания природы жизни и разума

Очень надеюсь, что среди читателей постосериала о проекте Pi найдутся такие, кому чтение постосериала покажется хотя бы наполовину столь же интересным, каким было для меня его написание.
И смею вас заверить, что прочитавшие эту серию теперь осведомлены о сути и текущем состоянии «проекта Pi», как никто более на всем свете. За исключением, пожалуй, руководителя проекта — Блеза Агуэра-и-Аркаса.


Подробней подписчики на мои лонгриды могут прочесть на платформах Patreon, Boosty, VK и Дзен-премиум.
Там же завтра планирую опубликовать для подписчиков двух высших категорий (золотой и алмазный) инструкции по доступу к аудиофайлам (лонгрид – 46 мин на русском; обсуждения всего постосериала 18 мин на англ.), майндмапам и брифингам проекта Pi. А для подписчиков категории алмазный инструкции по прямому доступу к разделу «Проект Pi» на NotebookLM.

#ParadigmsofIntelligence