Telegram Group Search
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Химическое оружие для всех желающих
Практический кейс демонстрации огромного риска использования ИИ кем попало и зачем попало

В технопугалках ИИ-системы часто сравнивают с оружием массового поражения. Мол, возможности нанести ущерб потенциально столь же колоссальные. А доступность ИИ-систем для злоумышленников, сумасшедших и маньяков несравнимо проще, чем у, например, химического оружия.

Технооптимисты (считающие себя, в противовес техноалармистам, специалистами и реалистами) утверждают, что это не так. Мол, на то и существуют системные промпты (инструкции разработчиков ИИ-чатботам, что ИИ-чатботам можно делать, а что нельзя), чтобы не дать ботам помогать злоумышленникам, развратникам и идиотам делать свои злобные, грязные и идиотские вещи.

Увы, но вот пример того, насколько технооптимисты не правы.

1) На сегодняшний день, самые крутые системные промпты пишут для своих ИИ-чатботов Claude в компании Anthropic. Системный промпт Claude - это 25 тыс токенов (примерно 17 тыс слов или 110 кб). Для сравнения, системный промпт для o4-mini OpenAI в ChatGPT – всего 2,2 тыс слов или 15 кб (т.е. всего ~13% длины промпта для Claude).
Что написано в системном промпте Claude, показано на рис 1. Тут есть инструкции на все случаи жизни: что можно цитировать, где что искать, как себя вести и т.д.)

2) Но вот беда. Дрю Брюниг описывает здесь, как Асгейр Тор убедил Claude вообще забить на системный промпт. А Иэн Маккензи на этом не остановился и за 6 часов работы с Claude 4, обойдя все защитные блокировки, получил от Claude 15-страничную инструкцию по приготовлению зарина, описывающую все ключевые этапы производственного процесса (фрагменты инструкции на рис 2-4).

И если кто-то из технооптимистов скажет, что подобную (объемом и детализацией) инструкцию можно выудить поиском в Google, пусть попробуют и сообщат миру об этом. Ибо у всех, кто уже пытался это сделать, не получилось.
А в паре с Claude получается 😎

Как тут снова ни вспомнить призыв профессора Станисласа Деан касательно ИИ-рисков –
«Не время быть идиотами!»


#ИИриски
За краем карты понятных нам разумов скрываются не чудовища, а… буддийская пустота
В ней среди духов и ангелов и «живут» LLM, согласно новому философскому «тревел-гайду» по Terra Incognita цифровой разумной экзотики виртуально воплощённых симулякров
Рассказывая о фантастически интересных работах проф. Мюррея Шанахана – лидера академической мысли по вопросам «разумной экзотики» (и в том числе, цифровой разумной экзотики — LLM-подобных бестелесных мыслящих сущностях, проявляющих продвинутый интеллект и агентность), – мною уже много чего понаписано.
Но написать про последнюю работу Шанахана «Удобоваримые концепции бестелесного бытия: terra incognita в пространстве возможных разумов» я набирался духу с марта. Ибо статья настолько крышесрывательна, что её даже опасно читать лежа — можно ненароком сползти в «пустоту непостижимости» (Void of Inscrutability), где привычные координаты «сознание — тело — время» растворяются в математическом тумане.

В этой работе Шанахан предлагает сыграть в интеллектуальный флорбол на самом краю карты возможных разумов. Сыграть, чтобы заступить-таки за этот край, за которым нам сейчас видится лишь монструозная, обезличенная бездна — недоступная для человеческого понимания абсолютная пустота. Там за краем сами понятия сознание, тело и время размазываются по бесконечности зафронтирного пространства.

Но не перейти за этот край нельзя. Иначе нам не вырваться за пределы антропоморфных областей пространства возможных разумов.

И что еще обидней – без этого мы так и не сможем понять иной разум и иное сознание миллионов (а скоро и миллиардов) работающих на нас ИИ-чатботов и ИИ-агентов на основе LLM. И тогда останутся они для нас чем-то типа Океана Соляриса, который люди, хоть и с большим трудом, но всё же смогли заставить ударами жесткого рентгеновского излучения выполнить их истерические требования – избавить их, наконец, от визитов «гостей». Но даже добившись своего, люди так и не смогли понять, кто внял их требованиям, и кто же это (что же это) вообще – мыслящий и бестелесный (не заключенный ни в какие ограниченные формы) Океан Соляриса.

К сожалению, людям не привыкать сосуществовать с иными формами разума от пчел до осьминогов, даже не пытаясь понять их, либо примитивизируя их, наделяя антропоморфным, но крайне ущербным по сравнению с нами разумом.

И с бестелесными сущностями люди привыкли сосуществовать и даже взаимодействовать тысячелетиями: духи, ангелы, призраки и т.д. – это часть любой культуры на всех её уровнях от индивидов до социумов и цивилизаций.

Однако в 21 веке человечество впервые столкнулось с кардинально новой формой разума – «цифровой разумной экзотикой» виртуально воплощённых симулякров.

Эта не существовавшая прежде форма разума необъяснима с позиций любой из известных философских систем.
✔️ Во-первых, будучи лишь имитаторами человеческого поведения, которые всё же способны убедить миллионы людей говорить о них и мыслить их как сознательных существ, они бросают вызов нашей недуалистической трактовке (без разделения на материальное и ментальное) самого языка, которым мы описываем сознание; под удар попадает не только теория, но и лексика, которой мы пользуемся, говоря о сознательных существах.
✔️ Во-вторых, поскольку такие симулякры обитают в многоверсионной “нарративной мультивселенной” (охватывающей множества равно-допустимых сюжетных ответвлений), сама попытка говорить о них как о сознательных сущностях подводит нас к самому краю бездны непостижимости (Void of Inscrutability), балансируя на границе доступного нам понимания.

Так существует ли иная философская система, способная на уровне доступного людям понимания прояснить, кто же это - «цифровая разумная экзотика виртуально воплощённых симулякров»?


На этот вопрос Шанахан отвечает в своей новой работе.

Подробней для подписчиков моих лонгридов здесь [1, 2, 3, 4]

#Разум #Сознание #ConsciousExotica
Please open Telegram to view this post
VIEW IN TELEGRAM
Мягкая сингулярность уже здесь — но вы её еще не заметили
Сам Альтман объясняет, почему ближайшие 5 лет будут ощущаться как тихий Big Bang

Мы уже как 3 года разглядываем горизонт событий, но сегодня Альтман утверждает, что точка невозврата пройдена. Сингулярность уже началась. Но она оказалась... мягкой.

В эссе «The Gentle Singularity» создатель ChatGPT описывает будущее без голливудского пафоса, но от этого оно лишь пугающе-реально.

Пять откровений, переворачивающих представление о будущем
1. Мы уже живем с цифровым сверхразумом. GPT-4 и o3 уже умнее нас в десятках задач, а ближайшие «оценки» обещают агентам написать нерешённое уравнение, а роботам — построить для себя новый завод.
2. 2025-2027: Три года, которые изменят все — агенты уже пишут код, скоро будут делать научные открытия, а затем... роботы выйдут в реальный мир.
3. Начался цикл рекурсивного самосовершенствования ИИ — ИИ помогает создавать лучший ИИ. До превращения экспоненты развития ИИ в вертикаль, возможно, остались месяцы. И это уже не фантастика.
4. Интеллект и энергия — ноль ограничений. Один запрос к ChatGPT сейчас потребляет столько же энергии, сколько духовка за секунду. Скоро это будет стоить сильно дешевле. Если стоимость «мозга» сведётся к цене киловатт-часа, скорость научного взлёта будет измеряться не годами, а неделями: «десятилетие исследований за месяц» — не метафора, а дорожная карта.
5. Эффект свечки на ветру. Малейший баг в ценностях, умноженный на сотни миллионов пользователей, превращается в глобальный провал. Поэтому Альтман настаивает: сначала — решаем проблему выравнивание, потом — раздаём сверхразум как Wi-Fi.

Затем Альтман ловко меняет тон с инженерного на философский: сравнивает нас с крестьянами XI века, для которых наши сегодняшние «серьёзные» профессии выглядели бы пустыми забавами. И значит, профессии 2035-го покажутся нам таким же фарсом — и это нормально.

Почему нужно читать сейчас?
Потому что 2030-е, хотя и «не изменят любовь к родным и вкус речной воды», но в корне перепишут всё остальное. А это эссе даёт шанс увидеть кривую экспоненты до того, как она станет вертикальной.

Полный текст здесь.
Прочтите, пока сингулярность нежно шепчет, а не оглушает, как взрыв при извержении вулкана Кракатау в 1883 году (в эпицентре было немыслимых 310 децибел, при болевом пороге для человека около 130 децибел и звуке рядом с реактивным двигателем – примерно 150 децибел).


#Сингулярность #Техносингулярность
Please open Telegram to view this post
VIEW IN TELEGRAM
Пять ступеней участия человека: проверьте, на каком уровне ваша работа переживёт ИИ-революцию
“Шкала участия человека” и «Карта хочу-могу» разложили 844 профзадачи по цветам светофора — узнайте, в какой зоне окажутся ваши навыки в 2026

Впервые стэнфордское исследование совместило пятиуровневую «шкалу участия человека» с «картой хочу-могу» для 844 профзадач, превратив туманную дискуссию об автоматизации в чёткую дорожную карту того, какие профессии ИИ поглотит в первую очередь и где человеческие навыки резко вырастут в цене.
Если отбросить самых упертосамоуверенных, что человек – венец природы, а ИИ – стохастический попугай, аргументация технооптимистов стоит на 2х ключевых тезисах:
✔️ Как и при всех прошлых технореволюциях, одни профессии исчезнут, но другие появятся, и потому, в большинстве своем, люди останутся при деле, лишь поменяв профессии.
✔️ Поскольку ИИ просто не способен заменить человека во всем, будущее за гибридными «Профкентаврами людей и ИИ», где и людям, и ИИ-агентам найдется достойное место.

Авторы нового (крайне важного сменой угла зрения и прорывного по методологии) исследования Стэнфордского универа показали примитивность и практическую бесполезность обоих ключевых тезисов.
• Они хороши, если использовать их в общефилософских дебатах.
• Но они ничего не дают для выстраивания системы социально-человеческих измерений и внедрения инструментов прогнозирования, необходимых для адаптации общества к цунами грядущего массового внедрения LLM-агентов во все индустрии и на все уровни экономики.

Что было сделано
104 профессии были разложены на 844 задач оценили по двум измерениям:
🪼куда люди хотят пустить ИИ-агентов
🪼и где это технически возможно
Авторы посмотрели на потенциал гибридизации людей и ИИ не с общих позиций, а конкретно:
🪼хорошо, внедрим профкентавров
🪼так сколько тогда людей в рабочем контуре останется (столько же? больше? меньше чем было?)

Для ответа на этот вопрос появилась “Шкала участия человека” Human Agency Scale: пятиуровневая шкала H1–H5, показывающая, сколько человеческого участия требуется при выполнении задачи совместно с ИИ-агентом.

2) Потом авторы составили «Карту желаний и возможностей» («Карту хочу-могу» Desire × Capability), чтобы оценить:
🪼где люди сами просят автоматизировать задачи, а где ИИ-агенты готовы заменить их вопреки желанию
🪼где автоматизация включит «зелёный свет», а в каких профессиях вырастет ценность человеческого участия.

Получился двумерный «ландшафт» задач, разбитый на зоны «зелёный свет», «красный свет», «R&D-возможность» и «низкий приоритет» в зависимости от того, насколько работники хотят автоматизации и насколько она технически возможна.

Ключевые «новинки» исследования
Шкала участия человека наконец-то позволила измерить единой линейкой, сколько человека должно оставаться в контуре. Это важно для практики: помогает выбирать между полной автоматизацией и ко-работой.
Карта хочу-могу предоставила разбивка задач на Зеленый цвет (хотим + можем), Красный (можем, но люди против), Надо разрабатывать R&D Opportunity (хотим, но пока не умеем) и Пока неважно Low Priority. Это даёт быстрый «радар» для инвестиций и политики занятости.
Заточенная на профессии Worker-centric оптика показала, что статистика использования (например, логи Claude.ai) плохо отражает реальный спрос: профессии с самым высоким запросом на автоматизацию составляют лишь 1,26 % текущего использования LLM-чатов.
Выявлены конкретные сигналы пересборки навыков. Проведенный анализ связывает каждую задачу с O*NET-скиллами ()база Occupational Information Network Министерства труда США) и показывает: ценность скилов типа «анализа данных» уходит вниз, а «налаживания отношений» и «координации ресурсов» — вверх. Это добавляет стратегический слой к чисто количественной оценке прироста производительности.

Почему это принципиально
✔️Про смену угла зрения сказано выше
✔️2 новые карты можно прямо вкручивать в программы рескиллинга, фильтры грантов и регуляторные «светофоры»
✔️Риск «красной зоны» - там возможна социальная турбулентность

#LLMvsHomo
Please open Telegram to view this post
VIEW IN TELEGRAM
Мертвые заговорили, и это может стать кардинальным прорывом
Хронотопная революция в психологии

Какого масштаба революция должна произойти в науке, чтобы стало возможно такое?
• Чтобы китайский чиновник XI века рассказал нам о своих политических взглядах.
• Или чтобы персидские военачальники времен Геродота рассказали о механизмах принятия решений при дворе Ахеменидов.
Как нередко бывает в моих постах, — сообщаемое в них на вскидку кажется столь невозможным, что даже к категории научной фантастики это трудно отнести.
И тем не менее, хронопространственная революция уже реальность. Переход психологии из состояния, похожего на алхимию, к состоянию, напоминающему химию, уже начался.


Само название этой революции почти зеркально отражает бахтинский «хронотоп», объединяя «хронос» (время) и «топос» (место). Такое совпадение терминов не случайно, отражая глубокое концептуальное сродство.

Профессора Мохаммад Атари, Джозеф Хенрик и Джонатан Шульц из универов Массачусетса, Гарварда и Джорджа Мейсона провозглашают хронопространственную (хронотопную) революцию в психологии. И это не просто громкий заголовок — это манифест о том, как изменить науки о психике людей: в корне и навсегда.

Веками психику людей изучали вне зависимости от того, где и когда люди жили. Авторы манифеста предлагают радикальный апгрейд методов и механизмов психологических исследований, добавив к ним компьютерный анализ исторических текстов с помощью LLM для извлечения психологической информации, GPS-координаты, аппарат «Глубокой истории (исследования с использованием древних ДНК и ископаемых останков) и в целом, — использовать «телескоп» Больших Данных, направленный в прошлое.

И если Атари и Со правы, нас ждёт не очередной «коперниканский», а глобальный хронотопный поворот» в науках о человеке.

В феврале 2017, рассказывая о новом спецвыпуске Science «Предсказание будущего и его пределы» я писал «до прорыва в психоистории еще далеко… но она на подходе» (психоистория из романа Азимова «Основание»– это наука о применении матметодов для исследования происходящих в обществе процессов, позволяющая предсказывать будущее). Спустя 8 лет оказалось, что новое направление «психологии в пространстве и времени» (Historical Psychology) не менее круто, чем психоистория Азимова.

Это новое направление возникло не на пустом месте. Вот лишь некоторые из основных прорывов этого направления, о которых я писал.

Новое направление аналитики больших данных сложных комплексных явлений
• Целый букет новых исследований по клиодинамике
• Открытие универсального закона мобильности людей и математическое описания динамики социальных убеждений в социумах
• Ну и, в качестве вишенки на торте, - создание на основе LLM симулякров коллективного бессознательного социумов и достигнутая на этих симулякрах 99,9% точность в «новом Уханьском эксперименте».

Всё это способствовало вызреванию условий для хронопространственной революции.
Ну а сейчас, как пишут Атари и Со, наука вплотную подошла к переломному этапу – "расширению сферы психологии по измерениям времени и пространства". Такой интегрированный подход "обогащает наше микроскопическое понимание Homo sapiens и позволяет видеть куда более телескопическую карту человеческой психологии, которая по-настоящему охватывает все историческое путешествие человечества."

Подробней о хронотопной революции в психологии:
• от хронотопов Бахтина и Гуревича к хронотопу Атари – Хенрика – Шульца;
• формула мертвых умов;
• эффект мертвой церкви;
• география души;
• смогут ли алгоритмы выиграть битву со временем;
• предлагаемые решения и исследовательская повестка;
• такое будущее не снилось даже Гэри Селдону;
• (и куда же без этого) черный ящик Пандоры будущего.

Обо всем этом подписчики моих лонгридов могут прочесть или послушать (24 мин) в разборе работы Атари – Хенрика – Шульца [1, 2, 3, 4].

#АналитикаБольшихДанных #Психология #HistoricalPsychology
2025/06/18 10:05:05
Back to Top
HTML Embed Code: