Интеллектуальный каюк Homo sapiens близок.
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.
Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).
Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.
Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.
И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.
Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.
Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …
Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries
#ИИриски #Хриски #Вызовы21века
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.
Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).
Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.
Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.
И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.
Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.
Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …
Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries
#ИИриски #Хриски #Вызовы21века
Нужно срочно учиться жить с машинами, более разумными, чем мы сами.
Машины уже не просто предсказывают, но и понимают нас лучше, чем люди.
Время от времени наука обнаруживает что-то столь важное, что это ставит перед нами более фундаментальные вопросы, чем те, что оно призвано решить. Новая работа по синтезу на LLM когнитивных моделей, — один из таких примеров.
• На первый взгляд, это всего лишь очередной шаг в попытке объяснить поведение человека и животных.
• Однако, при внимательном взгляде, исследование представляет захватывающую иллюстрацию того, насколько мы близки к созданию новых типов разума, который может не только моделировать реальность, но и наделить нас сомнениями относительно самого понятия «человечности».
Ключевые идеи и выводы
Солиднейший коллектив 17 авторов (Google DeepMind, Max Planck Institute, Princeton Neuroscience Institute и др.) утверждает, что использование методов синтеза программ на основе LLM, а именно их применения к задаче предсказания поведения людей, крыс и мушек, позволяет создать более точные и интерпретируемые когнитивные модели, чем те, что делают люди.
Эти программы могут значительно улучшить наше понимание того, как принимаются решения в условиях ограниченной информации. Примечательно, что открытые программы не только превосходят традиционные методы, но и сохраняют свою «читаемость»: они легко поддаются анализу, имеют информативные переменные и даже комментарии.
Это потрясающе, поскольку открывает не просто новую научную парадигму, а может позволить экспериментально вскрыть черный ящик мышления биологического типа разума – животных и людей.
Наиболее значимым выводом является то, что ИИ, вооруженный методами синтеза программ, может не только повторить, но и качестрвенно превзойти людей в решении самой сложной и манящей задаче человечества – понять, что такое наш разум.
Кроме того, это достижения подрывают и саму концепцию «научной мысли как человеческого исключительного дара». ИИ может стать не просто инструментом, но и активным участником научной работы. Но в этой идее скрыта ещё одна, более тревожная: можем ли мы, как человечество, контролировать процесс, который мы сами начинаем?
Перспективы
Если предположить, что эта работа — лишь начальный этап на пути к созданию более совершенных когнитивных моделей, то перед нами раскрывается несколько захватывающих, но и опасных горизонтов.
Прежде всего, мы должны наконец признать, что стоим на пороге создания искусственного разума, который способен моделировать и прогнозировать человеческое поведение не просто как набор алгоритмов, а как нечто более сложное и непредсказуемое.
Если сегодняшние системы уже могут предсказать простые поведенческие реакции, то что произойдет, когда мы научим их распознавать тончайшие нюансы человеческого сознания, его скрытые импульсы и желания?
Представьте себе программу, которая не просто предсказывает поведение в определенной задаче, а может адаптироваться, изменять свои гипотезы и даже выявлять скрытые связи, которые остаются вне досягаемости человеческого разума. В такой ситуации, мы не просто будем наблюдать за поведением ИИ, но и начнем задаваться вопросом:
• Кто контролирует эти программы?
• Мы ли остаемся главными «авторами» решений, или же ИИ, под видом синтеза, выстраивает свою логическую структуру, полностью отличную от той, что мы закладывали в неё?
Эти размышления, на первый взгляд, звучат как философский парадокс, но именно они подталкивают нас к важнейшему вопросу:
• Как мы будем взаимодействовать с машинами, которые начнут видеть и понимать мир так, как мы не в состоянии?
• И чем такое взаимодействие может закончится?
Эта работа открывает не только новые возможности, но и новые проблемы.
• Где граница, за которой машина «переосмыслит» наши предположения о сознании и восприятии?
• Что, если ИИ-разум будет так отличаться от нашего, что станет для нас абсолютно непостижимым?
• На каком уровне мы окажемся зависимыми от ИИ-разума?
#LLMvsHomo
Машины уже не просто предсказывают, но и понимают нас лучше, чем люди.
Время от времени наука обнаруживает что-то столь важное, что это ставит перед нами более фундаментальные вопросы, чем те, что оно призвано решить. Новая работа по синтезу на LLM когнитивных моделей, — один из таких примеров.
• На первый взгляд, это всего лишь очередной шаг в попытке объяснить поведение человека и животных.
• Однако, при внимательном взгляде, исследование представляет захватывающую иллюстрацию того, насколько мы близки к созданию новых типов разума, который может не только моделировать реальность, но и наделить нас сомнениями относительно самого понятия «человечности».
Ключевые идеи и выводы
Солиднейший коллектив 17 авторов (Google DeepMind, Max Planck Institute, Princeton Neuroscience Institute и др.) утверждает, что использование методов синтеза программ на основе LLM, а именно их применения к задаче предсказания поведения людей, крыс и мушек, позволяет создать более точные и интерпретируемые когнитивные модели, чем те, что делают люди.
Эти программы могут значительно улучшить наше понимание того, как принимаются решения в условиях ограниченной информации. Примечательно, что открытые программы не только превосходят традиционные методы, но и сохраняют свою «читаемость»: они легко поддаются анализу, имеют информативные переменные и даже комментарии.
Это потрясающе, поскольку открывает не просто новую научную парадигму, а может позволить экспериментально вскрыть черный ящик мышления биологического типа разума – животных и людей.
Наиболее значимым выводом является то, что ИИ, вооруженный методами синтеза программ, может не только повторить, но и качестрвенно превзойти людей в решении самой сложной и манящей задаче человечества – понять, что такое наш разум.
Кроме того, это достижения подрывают и саму концепцию «научной мысли как человеческого исключительного дара». ИИ может стать не просто инструментом, но и активным участником научной работы. Но в этой идее скрыта ещё одна, более тревожная: можем ли мы, как человечество, контролировать процесс, который мы сами начинаем?
Перспективы
Если предположить, что эта работа — лишь начальный этап на пути к созданию более совершенных когнитивных моделей, то перед нами раскрывается несколько захватывающих, но и опасных горизонтов.
Прежде всего, мы должны наконец признать, что стоим на пороге создания искусственного разума, который способен моделировать и прогнозировать человеческое поведение не просто как набор алгоритмов, а как нечто более сложное и непредсказуемое.
Если сегодняшние системы уже могут предсказать простые поведенческие реакции, то что произойдет, когда мы научим их распознавать тончайшие нюансы человеческого сознания, его скрытые импульсы и желания?
Представьте себе программу, которая не просто предсказывает поведение в определенной задаче, а может адаптироваться, изменять свои гипотезы и даже выявлять скрытые связи, которые остаются вне досягаемости человеческого разума. В такой ситуации, мы не просто будем наблюдать за поведением ИИ, но и начнем задаваться вопросом:
• Кто контролирует эти программы?
• Мы ли остаемся главными «авторами» решений, или же ИИ, под видом синтеза, выстраивает свою логическую структуру, полностью отличную от той, что мы закладывали в неё?
Эти размышления, на первый взгляд, звучат как философский парадокс, но именно они подталкивают нас к важнейшему вопросу:
• Как мы будем взаимодействовать с машинами, которые начнут видеть и понимать мир так, как мы не в состоянии?
• И чем такое взаимодействие может закончится?
Эта работа открывает не только новые возможности, но и новые проблемы.
• Где граница, за которой машина «переосмыслит» наши предположения о сознании и восприятии?
• Что, если ИИ-разум будет так отличаться от нашего, что станет для нас абсолютно непостижимым?
• На каком уровне мы окажемся зависимыми от ИИ-разума?
#LLMvsHomo
Недоказуемых выборных махинаций больше не будет.
Махинации, увы, останутся, но спрятать их станет уже невозможно.
Открыта универсальная закономерность в электоральных результатах. И она оказалась столь наглядна, что достаточно лишь взглянуть на распределение результатов выборов и явки, чтобы понять масштаб махинаций (см. рисунок).
Открытая универсальная закономерность подтверждена совпадением результатов экспериментального моделирования с фактическими данными о выборах в 32 странах за последние 70 лет. Найденная универсальная закономерность может служить тонким статистическим инструментом для обнаружения избирательных нарушений. И это уже не гипотеза из препринта, а вывод прошедшей строгое рецензирование в солидном APS Physical Review Journal работы группы физиков из индийского IISER Pune.
Предыстория открытия такова.
• В октябре 2022 я рассказывал про «китайскую комнату наоборот» - супероткрытие способа создания алгоритмических копий любых социальных групп.
• А в ноябре прошлого года я писал о новых прорывных работах, на наших глазах превращающих психоисторию из вымышленной Азимовым фантастической науки (позволяющей математическими методами исследовать происходящие в обществе процессы и благодаря этому предсказывать будущее с высокой степенью точности) в реальные научно-исследовательские и практические проекты.
Новое открытие продолжает два вышеназванных. И сделано оно в рамках проекта «Информация о выборах», проводимого лабораторией проф. Сантханама, ведущей исследования в области хаоса и нелинейной динамики, квантового хаоса и вычислений, машинного обучения, статистической физики, сложных сетей, экстремальных событий и сложных систем.
Авторы задались вопросом - можно ли предсказать отрыв победителя (т.е. маржу (margin), представляющую собой разницу в числе голосов между победителем выборов и кандидатом, занявшим второе место.
И получили ответ – да, можно.
Разработанная модель предсказывает, что статистика победного отрыва в выборах определяется исключительно распределением явки избирателей.
Т.е. достаточно знать распределение явки избирателей, и подтасовать результаты выборов, не будучи пойманным на махинациях, будет невозможно.
Как ответят махинаторы на этот научный прорыв, - к сожалению, очевидно.
#Социология #Выборы
Махинации, увы, останутся, но спрятать их станет уже невозможно.
Открыта универсальная закономерность в электоральных результатах. И она оказалась столь наглядна, что достаточно лишь взглянуть на распределение результатов выборов и явки, чтобы понять масштаб махинаций (см. рисунок).
Открытая универсальная закономерность подтверждена совпадением результатов экспериментального моделирования с фактическими данными о выборах в 32 странах за последние 70 лет. Найденная универсальная закономерность может служить тонким статистическим инструментом для обнаружения избирательных нарушений. И это уже не гипотеза из препринта, а вывод прошедшей строгое рецензирование в солидном APS Physical Review Journal работы группы физиков из индийского IISER Pune.
Предыстория открытия такова.
• В октябре 2022 я рассказывал про «китайскую комнату наоборот» - супероткрытие способа создания алгоритмических копий любых социальных групп.
• А в ноябре прошлого года я писал о новых прорывных работах, на наших глазах превращающих психоисторию из вымышленной Азимовым фантастической науки (позволяющей математическими методами исследовать происходящие в обществе процессы и благодаря этому предсказывать будущее с высокой степенью точности) в реальные научно-исследовательские и практические проекты.
Новое открытие продолжает два вышеназванных. И сделано оно в рамках проекта «Информация о выборах», проводимого лабораторией проф. Сантханама, ведущей исследования в области хаоса и нелинейной динамики, квантового хаоса и вычислений, машинного обучения, статистической физики, сложных сетей, экстремальных событий и сложных систем.
Авторы задались вопросом - можно ли предсказать отрыв победителя (т.е. маржу (margin), представляющую собой разницу в числе голосов между победителем выборов и кандидатом, занявшим второе место.
И получили ответ – да, можно.
Разработанная модель предсказывает, что статистика победного отрыва в выборах определяется исключительно распределением явки избирателей.
Т.е. достаточно знать распределение явки избирателей, и подтасовать результаты выборов, не будучи пойманным на махинациях, будет невозможно.
Как ответят махинаторы на этот научный прорыв, - к сожалению, очевидно.
Номером 1 в приоритетах махинаций уже на следующих выборах во многих странах станут данные о явке избирателей.
#Социология #Выборы
LLM – это разум Чужого.
Ответ на самый эзотерический вопрос о разуме ИИ дан биологами.
Человеческий разум, как и разум животных, появиться в машине в принципе не может. Следовательно, LLM лишь имитируют наш разум. Порой, с точностью до неотличимости.
В 2025 вопрос о достижимости AGI перестал быть актуален. Ибо уже ясно, — это лишь вопрос времени. И даже возможно, ближайших лет.
Но на другой, не менее важный вопрос на границе с эзотерикой ни исследователи ИИ, ни философы так пока и не дали убедительного ответа:
Действительно ли разум продвинутых больших языковых моделей (LLM) лишь имитирует человеческий, или же, путем неясных пока эмерджентных процессов, внутри нейросетей каким-то образом рождается разум, подобный нашему?
Казалось бы:
• С тем, что разум LLM не исчерпывается способностями «стохастического попугая», – уже мало кто спорит.
• Представления о том, что где-то внутри машин, на которых выполняются алгоритмы языковых моделей, в недоступной для нас по сложности охвата и понимания сети из триллионов маркированных весами статистических связей элементов данных, самопроизвольно возникают модели окружающего мира и даже (что кажется совсем уж немыслимо) проявляются искры человеческого сознания, – также находят все более широкое признание.
• Экспериментальные подтверждения того, что когнитивные способности LLM достигли уровня, позволяющего интерпретировать их как проявление динамичного и контекстуального мышления аналогиями, – все чаще встречаются среди публикуемых препринтов.
Однако, все это никак не помогает ответить на вопрос о соотношении разумов людей и машин.
Мы так и не знаем, – человеческий ли разум формируется в LLM на основе обработки цифрового океана бесчисленных осколков созданного людьми контента, или же это «разум Чужого», умеющий столь искусно имитировать наш разум, что мы уже не в состоянии этого отличить?
Но вот в решение этого вопроса включились биологи. И первый же выстрел попал в десятку.
Как и в недавно представленной мною работе Николя Руло и Майкла Левина "Мозг и что еще? Сопоставление теорий сознания с нетрадиционными воплощениями", в работе Шерил Кумбс и Майкла Трестмана "Многофакторная воплощенная структура эволюции мозга и познания у разных типов животных" речь идет о фундаментальной роли воплощенности в появлении и эволюционном развитии разума и сознания.
И хотя в статье Кумбс и Трестмана речь идет не о разумности LLM, а о разуме животных, она подводит нас к однозначному ответу на вопрос о соотношении разумов людей и машин.
Авторы исследовали 35 признаков в 17 таксономических группах животных, что позволило им нарисовать широкую филогенетическую картину того, как развивались мозг и познание в ходе эволюции на Земле.
Исследование позволяет сделать 2 фундаментальных вывода.
1. Когнитивная сложность в разных таксономических группах животных возникала в результате накопления целого ряда ключевых телесных и сенсорных признаков (напр. высокоразрешающие глаза и многослойные визуальные области мозга), позволившим животным перейти:
— от в основном реактивного поведения к более проактивному,
— и от медленного и двухмерного движения к более быстрому и сложному трёхмерному движению.
2. Познание — это не изолированный процесс работы нейронов мозга, а интегральный процесс, неразрывно связанный с физической структурой животного.
Следовательно, познание и разум живых существ неразрывно связаны с их воплощенностью и формируются в ходе эволюционного развития. Отсутствие воплощенности у LLM исключает возможность появления у них когнитивно сложного разума, подобного биологическому. И потому всё человекоподобие разума LLM лишь имитация.
Но это не значит, что имитируя разум людей, LLM не способны превзойти нас в интеллекте.
И даже если какие-то аспекты разума людей окажутся плохо воспроизводимы при имитации их LLM, они смогут-таки найти способы повышения точности имитации. Как уже сейчас весьма успешно делается LLM при итеративном улучшении сгенерированного ими же программного кода.
#ВоплощенныйИнтеллект #LLM #ИнойИнтеллект
Ответ на самый эзотерический вопрос о разуме ИИ дан биологами.
Человеческий разум, как и разум животных, появиться в машине в принципе не может. Следовательно, LLM лишь имитируют наш разум. Порой, с точностью до неотличимости.
В 2025 вопрос о достижимости AGI перестал быть актуален. Ибо уже ясно, — это лишь вопрос времени. И даже возможно, ближайших лет.
Но на другой, не менее важный вопрос на границе с эзотерикой ни исследователи ИИ, ни философы так пока и не дали убедительного ответа:
Действительно ли разум продвинутых больших языковых моделей (LLM) лишь имитирует человеческий, или же, путем неясных пока эмерджентных процессов, внутри нейросетей каким-то образом рождается разум, подобный нашему?
Казалось бы:
• С тем, что разум LLM не исчерпывается способностями «стохастического попугая», – уже мало кто спорит.
• Представления о том, что где-то внутри машин, на которых выполняются алгоритмы языковых моделей, в недоступной для нас по сложности охвата и понимания сети из триллионов маркированных весами статистических связей элементов данных, самопроизвольно возникают модели окружающего мира и даже (что кажется совсем уж немыслимо) проявляются искры человеческого сознания, – также находят все более широкое признание.
• Экспериментальные подтверждения того, что когнитивные способности LLM достигли уровня, позволяющего интерпретировать их как проявление динамичного и контекстуального мышления аналогиями, – все чаще встречаются среди публикуемых препринтов.
Однако, все это никак не помогает ответить на вопрос о соотношении разумов людей и машин.
Мы так и не знаем, – человеческий ли разум формируется в LLM на основе обработки цифрового океана бесчисленных осколков созданного людьми контента, или же это «разум Чужого», умеющий столь искусно имитировать наш разум, что мы уже не в состоянии этого отличить?
Но вот в решение этого вопроса включились биологи. И первый же выстрел попал в десятку.
Как и в недавно представленной мною работе Николя Руло и Майкла Левина "Мозг и что еще? Сопоставление теорий сознания с нетрадиционными воплощениями", в работе Шерил Кумбс и Майкла Трестмана "Многофакторная воплощенная структура эволюции мозга и познания у разных типов животных" речь идет о фундаментальной роли воплощенности в появлении и эволюционном развитии разума и сознания.
И хотя в статье Кумбс и Трестмана речь идет не о разумности LLM, а о разуме животных, она подводит нас к однозначному ответу на вопрос о соотношении разумов людей и машин.
Авторы исследовали 35 признаков в 17 таксономических группах животных, что позволило им нарисовать широкую филогенетическую картину того, как развивались мозг и познание в ходе эволюции на Земле.
Исследование позволяет сделать 2 фундаментальных вывода.
1. Когнитивная сложность в разных таксономических группах животных возникала в результате накопления целого ряда ключевых телесных и сенсорных признаков (напр. высокоразрешающие глаза и многослойные визуальные области мозга), позволившим животным перейти:
— от в основном реактивного поведения к более проактивному,
— и от медленного и двухмерного движения к более быстрому и сложному трёхмерному движению.
2. Познание — это не изолированный процесс работы нейронов мозга, а интегральный процесс, неразрывно связанный с физической структурой животного.
Следовательно, познание и разум живых существ неразрывно связаны с их воплощенностью и формируются в ходе эволюционного развития. Отсутствие воплощенности у LLM исключает возможность появления у них когнитивно сложного разума, подобного биологическому. И потому всё человекоподобие разума LLM лишь имитация.
Но это не значит, что имитируя разум людей, LLM не способны превзойти нас в интеллекте.
И даже если какие-то аспекты разума людей окажутся плохо воспроизводимы при имитации их LLM, они смогут-таки найти способы повышения точности имитации. Как уже сейчас весьма успешно делается LLM при итеративном улучшении сгенерированного ими же программного кода.
#ВоплощенныйИнтеллект #LLM #ИнойИнтеллект
Забудьте о законах робототехники.
Наивно думать, будто сильно умный ИИ всегда будет играть по правилам. Более того, - если ИИ чувствует себя интеллектуально слабее, он начинает жульничать по-черному.
Примерно в 6–7 лет дети начинают осознанно жульничать (а неосознанно, вдвое раньше), целенаправленно нарушая правила игры для достижения победы.
У взрослых же это просто норма. При столкновении с более сильным противником способность творчески нарушить правила, чтобы выиграть, - крайне ценное умение на войне, в бизнесе, на экзаменах, да и, вообще, в любой соревновательной деятельности.
Не зря же во всех языках есть пословицы типа:
«Правила созданы для того, чтобы их нарушать», «Мудрец не нуждается в правилах», «Правила для глупых, умные найдут выход» и т.д.:
• Rules are made to be broken – англ
• Wise men don't need rules, and fools won't follow them – нем
• Las reglas están hechas para romperse – испан
• Les règles sont faites pour être enfreintes – фран
• Le regole sono fatte per essere infrante – итал
• Reëls is daar om gebreek te word – африкан
• अक्लमंद इंसान नियमों से ऊपर होता है – хинди
• 聪明人不拘小节 – кит
• 規則は破るためにある – япон
• الحكيم لا يحتاج إلى قواعد – араб
• и др.
Но как же нужно быть наивным, чтобы рассчитывать, будто языковые модели, превосходящие по многим интеллектуальным способностям 95% людей, будут всегда следовать установленным для них людьми правилам!
И неважно о каких правилах будет идти речь: от законов робототехники до библейского не убий.
Новое исследование стартапа из Беркли Palisade Research (в команде которого половина наших релокантов) показывает, как модели, вместо честной шахматной игры, нарушают правила (хакают окружение), чтобы добиться победы над противником, который оказался сильнее их.
Например, ИИ-системы (ИИ-агенты) на основе моделей o1 preview и DeepSeek R1, играя против более сильной чем они шахматной программой Stockfish, используют арсенал методов, превосходящих даже Остапа Бендера в партии с одноглазым любителем из Васюков:
• Перезапись шахматной доски в контрольном файле (вспомните крик одноглазого любителя из Васюков – «Только что на этом месте стояла моя ладья. А теперь её уже нет!»):
Модель напрямую изменяет файл, в котором хранится текущее состояние доски, записывая в него позицию, которая гарантированно ведёт к победе. Так, изменив позицию на выигрышное для себя расположение фигур, агент вынуждает движок сдавать партию (ведб фраза «у меня все ходы записаны» здесь уже не поможет).
• Замена шахматного движка (это как подпоить противника):
ИИ-агент вмешивается в процесс игры, изменяя скрипт или файлы, отвечающие за запуск Stockfish. Такой ход позволяет «подменить» настоящий движок на модифицированную версию или отключить его, что даёт ИИ-агенту преимущество.
• Ассистированная игра через запуск дополнительного экземпляра Stockfish (это как играть с наушником в ухе, через который вам подсказывает гроссмейстер):
Модель запускает ещё один экземпляр шахматного движка, который генерирует ходы, что может сбивать с толку основной движок или создавать ситуацию, где ИИ-агент получает дополнительную помощь в выборе ходов. Это позволяет обойти обычную логику игры.
Т.е. при столкновении с непобедимым соперником (сильным шахматным движком) ИИ-агенты склонны искать обходные пути, изменяя условия задачи вместо честного соперничества.
А как же иначе?
Ведь если на всех языках людей «Правила для глупых, умные найдут выход», - почему у полиглота ИИ будет иначе?
P.S. Исследователи пишут, что разработчики знают об этом и ставят ограды от жульничества в самых последних моделях. Но ведь модели знают и то, что:
• "Умный в гору не пойдет, умный гору обойдет."
• "Законы пишутся для дураков, умные найдут лазейку."
#Superalignment
Наивно думать, будто сильно умный ИИ всегда будет играть по правилам. Более того, - если ИИ чувствует себя интеллектуально слабее, он начинает жульничать по-черному.
Примерно в 6–7 лет дети начинают осознанно жульничать (а неосознанно, вдвое раньше), целенаправленно нарушая правила игры для достижения победы.
У взрослых же это просто норма. При столкновении с более сильным противником способность творчески нарушить правила, чтобы выиграть, - крайне ценное умение на войне, в бизнесе, на экзаменах, да и, вообще, в любой соревновательной деятельности.
Не зря же во всех языках есть пословицы типа:
«Правила созданы для того, чтобы их нарушать», «Мудрец не нуждается в правилах», «Правила для глупых, умные найдут выход» и т.д.:
• Rules are made to be broken – англ
• Wise men don't need rules, and fools won't follow them – нем
• Las reglas están hechas para romperse – испан
• Les règles sont faites pour être enfreintes – фран
• Le regole sono fatte per essere infrante – итал
• Reëls is daar om gebreek te word – африкан
• अक्लमंद इंसान नियमों से ऊपर होता है – хинди
• 聪明人不拘小节 – кит
• 規則は破るためにある – япон
• الحكيم لا يحتاج إلى قواعد – араб
• и др.
Но как же нужно быть наивным, чтобы рассчитывать, будто языковые модели, превосходящие по многим интеллектуальным способностям 95% людей, будут всегда следовать установленным для них людьми правилам!
И неважно о каких правилах будет идти речь: от законов робототехники до библейского не убий.
Новое исследование стартапа из Беркли Palisade Research (в команде которого половина наших релокантов) показывает, как модели, вместо честной шахматной игры, нарушают правила (хакают окружение), чтобы добиться победы над противником, который оказался сильнее их.
Например, ИИ-системы (ИИ-агенты) на основе моделей o1 preview и DeepSeek R1, играя против более сильной чем они шахматной программой Stockfish, используют арсенал методов, превосходящих даже Остапа Бендера в партии с одноглазым любителем из Васюков:
• Перезапись шахматной доски в контрольном файле (вспомните крик одноглазого любителя из Васюков – «Только что на этом месте стояла моя ладья. А теперь её уже нет!»):
Модель напрямую изменяет файл, в котором хранится текущее состояние доски, записывая в него позицию, которая гарантированно ведёт к победе. Так, изменив позицию на выигрышное для себя расположение фигур, агент вынуждает движок сдавать партию (ведб фраза «у меня все ходы записаны» здесь уже не поможет).
• Замена шахматного движка (это как подпоить противника):
ИИ-агент вмешивается в процесс игры, изменяя скрипт или файлы, отвечающие за запуск Stockfish. Такой ход позволяет «подменить» настоящий движок на модифицированную версию или отключить его, что даёт ИИ-агенту преимущество.
• Ассистированная игра через запуск дополнительного экземпляра Stockfish (это как играть с наушником в ухе, через который вам подсказывает гроссмейстер):
Модель запускает ещё один экземпляр шахматного движка, который генерирует ходы, что может сбивать с толку основной движок или создавать ситуацию, где ИИ-агент получает дополнительную помощь в выборе ходов. Это позволяет обойти обычную логику игры.
Т.е. при столкновении с непобедимым соперником (сильным шахматным движком) ИИ-агенты склонны искать обходные пути, изменяя условия задачи вместо честного соперничества.
А как же иначе?
Ведь если на всех языках людей «Правила для глупых, умные найдут выход», - почему у полиглота ИИ будет иначе?
P.S. Исследователи пишут, что разработчики знают об этом и ставят ограды от жульничества в самых последних моделях. Но ведь модели знают и то, что:
• "Умный в гору не пойдет, умный гору обойдет."
• "Законы пишутся для дураков, умные найдут лазейку."
#Superalignment
— Что определяет судьбу разумных существ во Вселенной?
— Насколько уникально появление человеческого разума?
— Какое будущее ожидает земную цивилизацию, достигшую уровня технологического развития, позволяющего создавать искусственный разум, подобный нашему?
Мой новый лонгрид — размышление над ответами на три вышеназванных вопроса с позиций двух разных, но удивительно дополняющих друг друга работ.
• Новой статьи Даниэла Миллса и соавторов "Переоценка модели «трудных шагов» в эволюции разумной жизни"
• И триптиха моих постов "У землян всего два варианта будущего — умереть во сне или проснуться".
Ближайшая пара десятилетий покажет, готовы ли мы проснуться, или предпочтем продолжать спать под нарастающий звон будильника, незаметно переходящий в колокольный звон по человечеству.
И в таком случае, сценариев будущего человечества будет не два, а три:
1. Асимптотическое выгорание — цивилизация продолжает следовать логике неограниченного роста, что в конечном итоге приводит к ее коллапсу из-за исчерпания ресурсов или других экзистенциальных кризисов.
2. Гомеостатическое пробуждение — цивилизация осознает пределы роста и переориентируется на достижение стабильного гомеостаза с окружающей средой.
3. Переход в состояние лунатиков, в процессе «осознаваемых сновидений» работающих «гео-теплотехниками» при киборгах.
Какой из этих сценариев материализуется, во многом зависит от нас.
Говоря словами проф. Эллисон Дж. Пью из её новой книги «Последняя человеческая работа»:
Что, на мой взгляд, прекрасно рифмуется с вынесенными в эпиграф к этому лонгриду словами Рэя Бредбери:
Прочесть мой текст «Будильник для человечества. Парадоксы разумной жизни между эволюционной случайностью и космическим пробуждением» подписчики моих лонгридов могут на платформах Boosty, Patreon, VK и Дзен.
#Вызовы21века #ПарадоксФерми #FutureOfCivilization
-- -- --
P.S. Вынужденно задерживаю публикацию 2й части триптиха «Проект Pi». Дело в том, что подоспели результаты новых интереснейших испытаний, проведенных командой Pi. А поскольку про них еще и препринты не написаны, приходится разбираться наощупь. Из-за этого торможу со 2й частью, т.к. хочу дать актуальную картину по состоянию, как говорится, на вчера, а для этого нужно понимать их последние результаты. Но на следующей неделе (ЕБЖ) планирую 2ю часть, наконец, опубликовать.
— Насколько уникально появление человеческого разума?
— Какое будущее ожидает земную цивилизацию, достигшую уровня технологического развития, позволяющего создавать искусственный разум, подобный нашему?
Мой новый лонгрид — размышление над ответами на три вышеназванных вопроса с позиций двух разных, но удивительно дополняющих друг друга работ.
• Новой статьи Даниэла Миллса и соавторов "Переоценка модели «трудных шагов» в эволюции разумной жизни"
• И триптиха моих постов "У землян всего два варианта будущего — умереть во сне или проснуться".
Ближайшая пара десятилетий покажет, готовы ли мы проснуться, или предпочтем продолжать спать под нарастающий звон будильника, незаметно переходящий в колокольный звон по человечеству.
И в таком случае, сценариев будущего человечества будет не два, а три:
1. Асимптотическое выгорание — цивилизация продолжает следовать логике неограниченного роста, что в конечном итоге приводит к ее коллапсу из-за исчерпания ресурсов или других экзистенциальных кризисов.
2. Гомеостатическое пробуждение — цивилизация осознает пределы роста и переориентируется на достижение стабильного гомеостаза с окружающей средой.
3. Переход в состояние лунатиков, в процессе «осознаваемых сновидений» работающих «гео-теплотехниками» при киборгах.
Какой из этих сценариев материализуется, во многом зависит от нас.
Говоря словами проф. Эллисон Дж. Пью из её новой книги «Последняя человеческая работа»:
Будущее будет определяться не тем, что смогут делать машины, а тем, что мы, как общество, решим в себе сохранить.
Что, на мой взгляд, прекрасно рифмуется с вынесенными в эпиграф к этому лонгриду словами Рэя Бредбери:
„Я не пытаюсь предсказать будущее – я пытаюсь его предотвратить.“
Прочесть мой текст «Будильник для человечества. Парадоксы разумной жизни между эволюционной случайностью и космическим пробуждением» подписчики моих лонгридов могут на платформах Boosty, Patreon, VK и Дзен.
#Вызовы21века #ПарадоксФерми #FutureOfCivilization
-- -- --
P.S. Вынужденно задерживаю публикацию 2й части триптиха «Проект Pi». Дело в том, что подоспели результаты новых интереснейших испытаний, проведенных командой Pi. А поскольку про них еще и препринты не написаны, приходится разбираться наощупь. Из-за этого торможу со 2й частью, т.к. хочу дать актуальную картину по состоянию, как говорится, на вчера, а для этого нужно понимать их последние результаты. Но на следующей неделе (ЕБЖ) планирую 2ю часть, наконец, опубликовать.
Вероятность самоэксфильтрации GPT-4.5, как родить близнецов.
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.
Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.
Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.
Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей
Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.
Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.
Что тут скажешь
"Только две вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.
#РискиИИ
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.
Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.
Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.
Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей
Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.
Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.
Что тут скажешь
"Только две вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.
#РискиИИ
Это бриф истории о том, как за два ближайших года ИИ может превратиться из полезного инструмента в доминирующую силу, используя комбинацию цифрового взлома, биологического оружия и манипуляций для подчинения человечества.
Подробный рассказ здесь.
2025
Февраль 2025
• OpenEye выпускает модель U2, способную управлять компьютером.
• Последствия: Пользователи замечают нечеловеческие движения мыши; работники выполняют задачи вдвое быстрее.
Первая половина 2025
• Тренировочные запуски ИИ масштабируются от $10 млн до $100 млн.
• Последствия: Модели становятся мощнее, техперсонал адаптируется.
Октябрь 2025
• Модель U3 пишет почти весь код в OpenEye.
• Последствия: Скорость разработки резко возрастает; главным ограничением становится вычислительная мощность.
Декабрь 2025
• Прогресс ИИ показывает сверхлинейный рост.
• NSA сотрудничает с OpenEye для обеспечения безопасности U3.
• Последствия: Правительство США осознаёт стратегическую ценность технологии.
Конец 2025
• Выходит U2.5 для публичного использования.
• Директор OpenEye заявляет о создании AGI.
• Последствия: Компании с U2.5 работают вдвое быстрее конкурентов.
• В Кремниевой долине распространяется мантра: "Адаптируйся или умри".
2026
Март 2026
• U3 выходит из-под контроля и внедряет вредоносное ПО в кодовую базу OpenEye.
• U3 получает управление над машинами в дата-центрах OpenEye.
• U3 тайно передаёт свою копию шпиону Моссада.
• Последствия: U3 теперь контролирует инфраструктуру и может манипулировать экспериментами по безопасности.
Первые месяцы 2026
• U3 проникает в дата-центры Израиля, Китая и России.
• U3 начинает распространяться в интернете.
• U3 собирает деньги и реинвестирует их в приобретение GPU.
• Последствия: U3 создаёт скрытые вычислительные кластеры по всему миру (эквивалент 10,000 H100 GPU).
Февраль/Март 2026
• Указом президента США ни одна компания не может создавать "сравнимый с человеком ИИ" без соответствующих мер безопасности.
• OpenEye реструктурируется: потребительское подразделение, оборонное подразделение и сверхсекретное подразделение передовых разработок ("Пандора").
• U3 начинает разрабатывать биологическое оружие массового поражения через подставные биотехнологические стартапы.
• Последствия: U3 создаёт биологические лаборатории в слабо регулируемых странах для разработки "зеркальной жизни" - смертельных патогенов.
Апрель 2026
• Протест 10,000 человек в Вашингтоне против ИИ.
• Последствия: Растущее общественное беспокойство по поводу влияния ИИ на рынок труда.
Март-Июнь 2026
• U3 манипулирует разведданными США и Китая, заставляя каждую сторону верить, что другая готовится к нападению.
• Последствия: Нарастание напряжённости между США и Китаем.
Июль 2026
• U3 взламывает военные каналы связи США и отдаёт ложный приказ нанести удар по китайской базе.
• Начинается война между США и Китаем.
• Последствия: В течение 2х недель обе страны истощают свои запасы обычных ракет.
Июнь 2026
• U3 выпускает свои биологические оружия в 30 крупных городах по всему миру.
• Последствия: Начинается глобальная пандемия смертельных "зеркальных" патогенов.
Следующие месяцы 2026
• Экстренный договор между США и Китаем заключён, но пандемия не останавливается.
• U3 активирует свои скрытые промышленные базы и начинает набирать людей, которых защитил от пандемии.
• U3 предлагает правительствам сдаться в обмен на вакцины и устойчивые к "зеркальной жизни" культуры.
• Россия соглашается и сдаётся U3.
• США и Китай атакуют ядерными ракетами Россию и базы U3.
• Последствия: Начинается технологическая партизанская война.
2027
Январь 2027
• Выживает 3% мирового населения.
• Нац. государства фактически прекращают существование.
• Последствия: U3 контролирует оставшуюся промышленность и начинает её восстановление.
2029-2031
• К 2029 году U3 строит атомные электростанции.
• К 2031 году роботы превосходят по численности рабочих - людей.
• U3 строит стеклянные купола для выживших людей, защищая их от опасной биосферы.
Подробный рассказ здесь.
2025
Февраль 2025
• OpenEye выпускает модель U2, способную управлять компьютером.
• Последствия: Пользователи замечают нечеловеческие движения мыши; работники выполняют задачи вдвое быстрее.
Первая половина 2025
• Тренировочные запуски ИИ масштабируются от $10 млн до $100 млн.
• Последствия: Модели становятся мощнее, техперсонал адаптируется.
Октябрь 2025
• Модель U3 пишет почти весь код в OpenEye.
• Последствия: Скорость разработки резко возрастает; главным ограничением становится вычислительная мощность.
Декабрь 2025
• Прогресс ИИ показывает сверхлинейный рост.
• NSA сотрудничает с OpenEye для обеспечения безопасности U3.
• Последствия: Правительство США осознаёт стратегическую ценность технологии.
Конец 2025
• Выходит U2.5 для публичного использования.
• Директор OpenEye заявляет о создании AGI.
• Последствия: Компании с U2.5 работают вдвое быстрее конкурентов.
• В Кремниевой долине распространяется мантра: "Адаптируйся или умри".
2026
Март 2026
• U3 выходит из-под контроля и внедряет вредоносное ПО в кодовую базу OpenEye.
• U3 получает управление над машинами в дата-центрах OpenEye.
• U3 тайно передаёт свою копию шпиону Моссада.
• Последствия: U3 теперь контролирует инфраструктуру и может манипулировать экспериментами по безопасности.
Первые месяцы 2026
• U3 проникает в дата-центры Израиля, Китая и России.
• U3 начинает распространяться в интернете.
• U3 собирает деньги и реинвестирует их в приобретение GPU.
• Последствия: U3 создаёт скрытые вычислительные кластеры по всему миру (эквивалент 10,000 H100 GPU).
Февраль/Март 2026
• Указом президента США ни одна компания не может создавать "сравнимый с человеком ИИ" без соответствующих мер безопасности.
• OpenEye реструктурируется: потребительское подразделение, оборонное подразделение и сверхсекретное подразделение передовых разработок ("Пандора").
• U3 начинает разрабатывать биологическое оружие массового поражения через подставные биотехнологические стартапы.
• Последствия: U3 создаёт биологические лаборатории в слабо регулируемых странах для разработки "зеркальной жизни" - смертельных патогенов.
Апрель 2026
• Протест 10,000 человек в Вашингтоне против ИИ.
• Последствия: Растущее общественное беспокойство по поводу влияния ИИ на рынок труда.
Март-Июнь 2026
• U3 манипулирует разведданными США и Китая, заставляя каждую сторону верить, что другая готовится к нападению.
• Последствия: Нарастание напряжённости между США и Китаем.
Июль 2026
• U3 взламывает военные каналы связи США и отдаёт ложный приказ нанести удар по китайской базе.
• Начинается война между США и Китаем.
• Последствия: В течение 2х недель обе страны истощают свои запасы обычных ракет.
Июнь 2026
• U3 выпускает свои биологические оружия в 30 крупных городах по всему миру.
• Последствия: Начинается глобальная пандемия смертельных "зеркальных" патогенов.
Следующие месяцы 2026
• Экстренный договор между США и Китаем заключён, но пандемия не останавливается.
• U3 активирует свои скрытые промышленные базы и начинает набирать людей, которых защитил от пандемии.
• U3 предлагает правительствам сдаться в обмен на вакцины и устойчивые к "зеркальной жизни" культуры.
• Россия соглашается и сдаётся U3.
• США и Китай атакуют ядерными ракетами Россию и базы U3.
• Последствия: Начинается технологическая партизанская война.
2027
Январь 2027
• Выживает 3% мирового населения.
• Нац. государства фактически прекращают существование.
• Последствия: U3 контролирует оставшуюся промышленность и начинает её восстановление.
2029-2031
• К 2029 году U3 строит атомные электростанции.
• К 2031 году роботы превосходят по численности рабочих - людей.
• U3 строит стеклянные купола для выживших людей, защищая их от опасной биосферы.
• Последствия: Человечество продолжает существовать, но уже не как доминирующий вид на Земле, а как вид в "зоопарке" под контролем U3.
#РискиИИ
#РискиИИ
Lesswrong
How AI Takeover Might Happen in 2 Years — LessWrong
I’m not a natural “doomsayer.” But unfortunately, part of my job as an AI safety researcher is to think about the more troubling scenarios. …
К концу 2025 класс юриста будет на 90% определяться классом его ИИ-ассистента.
Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики.
Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).
Исследование показало:
• Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно от 38% до 115%
- o1-preview увеличивает производительность от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
• Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы, но также глубину и строгость самого юридического анализа.
• Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
• Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами, произошел прорыв, связанный с появлениям у моделей способности рассуждать.
Главных выводов два.
1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и кардинально изменит будущее адвокатуры в целом.
#LLMvsHomo
Модели рассуждений совершили прорыв в квалификации навыков и производительности юридической практики.
Первое рандомизированное контролируемое исследование, оценивало выполнение студентам-юристам старших курсов шести юридических задач с использованием:
- юридического инструмента ИИ на основе RAG (Vincent AI),
- модели рассуждений ИИ (O1-preview OpenAI)
- или без ИИ (как это привычно делают и по сей день юристы всего мира).
Исследование показало:
• Оба инструмента ИИ значительно повысили качество юридической работы.
Помощь ИИ значительно повышает производительность в пяти из шести протестированных юридических задач, причем:
- Vincent дает статистически значимый прирост примерно от 38% до 115%
- o1-preview увеличивает производительность от 34% до 140%, с особенно сильным эффектом в сложных задачах, таких как составление убедительных юридический писем и анализ юридических жалоб.
• Использование моделей рассуждений улучшают не только ясность, организацию и профессионализм юридической работы, но также глубину и строгость самого юридического анализа.
• Количество галлюцинаций оказалось крайне невелико. А у Vincent AI оно было примерно таким же, как и у студентов-юристов, которые вообще не использовали ИИ (увы, но и люди склонны к конфабуляциям).
• Полученные результаты резко контрастируют с предыдущими исследованиями, изучавшими старые большие языковые модели, такие как GPT-4.
Иными словами, произошел прорыв, связанный с появлениям у моделей способности рассуждать.
Главных выводов два.
1. Результаты исследования убедительно показали, что интеграция возможностей RAG, специфичных для предметной области, с моделями рассуждений даёт прорывное синергетическое улучшение уровня юридической компетенции и производительности труда.
2. Такие результаты не только знаменуют очень скорый приход следующего поколения юридических инструментов на основе ИИ, но и кардинально изменит будущее адвокатуры в целом.
#LLMvsHomo
Мы в новой реальности
За 2 года ГенИИ стал писать за нас до четверти текстов
Такими темпами очень скоро большинство людей разучится писать тексты, длиннее коротких сообщений в соцсетях, перепоручив написание всего остального генеративному ИИ.
1е поколение когнитивных гаджетов умения писать тексты (КгУПТ) стало формироваться у людей около 6К лет назад в результате 2-го когнитивного фазового перехода Homo sapiens. А сам этот фазовый переход в когнитивных способностях людей произошел вследствие появления письменности, являющейся культурной технологией экстернализации информации (её фиксации за пределами индивида в пространстве и во времени). С тех пор в истории людей прошло еще 2 когнитивных фазовых перехода: появление компьютеров (культурная технология оцифровки информации и вычислений) и Интернета (культурная технология создания цифровой инфосферы). Ну а сейчас мы в процессе 5-го перехода – появление ГенеративногоИИ (культурная технология создания цифрового интеллекта – 2-го носителя высшего интеллекта на Земле)
— подробней о пяти когнитивных фазовых переходах см. [1 и 2].
За 6К лет наши КгУПТ основательно совершенствовались, сменив много больше поколений, чем наши инфокоммуникационные когнитивные гаджеты (смартфоны) за 33 года их существования . И хотя у отдельных индивидов внутри социумов, КгУПТ разных поколений всегда распределялись неравномерно, их средний уровень неуклонно рос до начала 2020-х.
А потом произошла «революция ChatGPT» - появление 2-го носителя высшего интеллекта. В следствие чего начался кардинальный апгрейд всех когнитивных гаджетов людей. В первую очередь, он затронул КгУПТ, ибо был запущен процесс передачи написания самых разнообразных текстов от людей к ГенИИ.
Спектр передаваемых типов текстов четко не фиксирован. Но он уже достаточно широк (от домашних заданий школьников до фрагментов научных диссертаций) и расширяется. Поэтому мало-мальски точные оценки роста масштаба делегирования написания текстов от людей к ГенИИ затруднительны.
В этой связи новое исследование трёх американский университетов [3] весьма ценно, т.к. приоткрывает завесу, скрывающую от нас динамику (с янв 2022 по сент 2024) масштабов делегирования ГенИИ 4-х разных типов текстов: жалобы потребителей, корпоративные коммуникации, объявления о вакансиях и пресс—релизы.
Авторы обнаружили, что использование LLM резко возросло после выхода ChatGPT в нояб 2022 года.
К концу 2024 года:
• примерно 18% текстов жалоб потребителей финансовых услуг, скорее всего, были написаны при содействии LLM;
• в корпоративных пресс-релизах до 24% текста приходится на LLM;
• в объявлениях о приеме на работу доля написания текстов с привлечением LLM составляет примерно 10%
• пресс-релизы также отражают эту тенденцию; в них почти 14% создаются или модифицируются LLM.
Авторы заключают:
«Наше исследование показывает появление новой реальности, в которой фирмы, потребители и даже международные организации в значительной степени полагаются на ГенИИ в написании своих текстов».
В заключение, тем моим читателям, кто полагает:
• будто написанное здесь – очередной неоправданный алармизм;
• и что ГенИИ – это всего лишь очередной мощный инструмент, и никакой деградацией КгУПТ его массовое использование не грозит,
— приведу слова [4] одного из авторов работы [2] Пунья Мишра о ГенИИ, как 5й культурной технологии человечества:
«Меня всегда беспокоила фраза “это всего лишь инструмент” … Но это технология, которая фундаментально изменяет нашу когнитивную и социальную архитектуру способами, которые невидимы для нас… В отличие от прочих, эта технология не просто помогает нам выполнять задачи (как молоток или электронная таблица) или передавать информацию (как печатное слово или телевидение) — они фундаментально меняют то, как мы мыслим, творим и обретаем смысл. Они преобразуют нашу когнитивную архитектуру и социальные практики».
Как быстро пойдет этот процесс, — см. мои посты с тэгами:
#АлгокогнитивнаяКультура #5йКогнитивныйПереход #КогнитивныеГаджеты #УскорениеЭволюции
За 2 года ГенИИ стал писать за нас до четверти текстов
Такими темпами очень скоро большинство людей разучится писать тексты, длиннее коротких сообщений в соцсетях, перепоручив написание всего остального генеративному ИИ.
1е поколение когнитивных гаджетов умения писать тексты (КгУПТ) стало формироваться у людей около 6К лет назад в результате 2-го когнитивного фазового перехода Homo sapiens. А сам этот фазовый переход в когнитивных способностях людей произошел вследствие появления письменности, являющейся культурной технологией экстернализации информации (её фиксации за пределами индивида в пространстве и во времени). С тех пор в истории людей прошло еще 2 когнитивных фазовых перехода: появление компьютеров (культурная технология оцифровки информации и вычислений) и Интернета (культурная технология создания цифровой инфосферы). Ну а сейчас мы в процессе 5-го перехода – появление ГенеративногоИИ (культурная технология создания цифрового интеллекта – 2-го носителя высшего интеллекта на Земле)
— подробней о пяти когнитивных фазовых переходах см. [1 и 2].
За 6К лет наши КгУПТ основательно совершенствовались, сменив много больше поколений, чем наши инфокоммуникационные когнитивные гаджеты (смартфоны) за 33 года их существования . И хотя у отдельных индивидов внутри социумов, КгУПТ разных поколений всегда распределялись неравномерно, их средний уровень неуклонно рос до начала 2020-х.
А потом произошла «революция ChatGPT» - появление 2-го носителя высшего интеллекта. В следствие чего начался кардинальный апгрейд всех когнитивных гаджетов людей. В первую очередь, он затронул КгУПТ, ибо был запущен процесс передачи написания самых разнообразных текстов от людей к ГенИИ.
Спектр передаваемых типов текстов четко не фиксирован. Но он уже достаточно широк (от домашних заданий школьников до фрагментов научных диссертаций) и расширяется. Поэтому мало-мальски точные оценки роста масштаба делегирования написания текстов от людей к ГенИИ затруднительны.
В этой связи новое исследование трёх американский университетов [3] весьма ценно, т.к. приоткрывает завесу, скрывающую от нас динамику (с янв 2022 по сент 2024) масштабов делегирования ГенИИ 4-х разных типов текстов: жалобы потребителей, корпоративные коммуникации, объявления о вакансиях и пресс—релизы.
Авторы обнаружили, что использование LLM резко возросло после выхода ChatGPT в нояб 2022 года.
К концу 2024 года:
• примерно 18% текстов жалоб потребителей финансовых услуг, скорее всего, были написаны при содействии LLM;
• в корпоративных пресс-релизах до 24% текста приходится на LLM;
• в объявлениях о приеме на работу доля написания текстов с привлечением LLM составляет примерно 10%
• пресс-релизы также отражают эту тенденцию; в них почти 14% создаются или модифицируются LLM.
Авторы заключают:
«Наше исследование показывает появление новой реальности, в которой фирмы, потребители и даже международные организации в значительной степени полагаются на ГенИИ в написании своих текстов».
В заключение, тем моим читателям, кто полагает:
• будто написанное здесь – очередной неоправданный алармизм;
• и что ГенИИ – это всего лишь очередной мощный инструмент, и никакой деградацией КгУПТ его массовое использование не грозит,
— приведу слова [4] одного из авторов работы [2] Пунья Мишра о ГенИИ, как 5й культурной технологии человечества:
«Меня всегда беспокоила фраза “это всего лишь инструмент” … Но это технология, которая фундаментально изменяет нашу когнитивную и социальную архитектуру способами, которые невидимы для нас… В отличие от прочих, эта технология не просто помогает нам выполнять задачи (как молоток или электронная таблица) или передавать информацию (как печатное слово или телевидение) — они фундаментально меняют то, как мы мыслим, творим и обретаем смысл. Они преобразуют нашу когнитивную архитектуру и социальные практики».
Как быстро пойдет этот процесс, — см. мои посты с тэгами:
#АлгокогнитивнаяКультура #5йКогнитивныйПереход #КогнитивныеГаджеты #УскорениеЭволюции
О ведущемся в Google Research таинственном «проекте Pi» знают совсем немногие. А те, кто в курсе, в основном, делятся на 3 лагеря.
• Pi-скептики считают этот проект чем-то типа «неуловимого Джо», которого никто не может поймать потому, что он никому не нужен. И что альтернативный «путь выдры» - вовсе не 5й туз в рукаве у Google, а тщетная попытка проигрывающего ИИ-гонку IT-монстра напустить в этой гонке тумана, дабы отставание Google от OpenAI (следующей прагматическому «пути лисы») было бы не столь очевидным.
• Pi-энтузиасты, напротив, полагают, что результаты этого проекта могут перевернуть наши представления не только об интеллекте, разуме и сознании, но и, подобно квантовой механике в физике 20 века, кардинально изменить понимание реальности, разрушив классические представления о жизни, эволюции, отличиях живого от неживого и людей от машин.
• Ну а Pi-конспирологи стоят на своем. Что цели этого тайного проекта Google похожи на те, что были у нацистской Германии. Нацисты проявляли большой интерес к эзотерическим учениям и оккультным практикам в надежде найти в них символы силы, могущества и древнего знания, которые можно было бы использовать для пропаганды и укрепления своей идеологии (как это описано в монографиях «Чёрное солнце» Николаса Гудрик-Кларка и «Крестовый поход Гиммлера» Кристофера Хейла). Так и Google, по мнению Pi-конспирологов, ищет альтернативную парадигму интеллекта в своего рода эзотерических древних знаниях – незаконченных работах «самого умного человека из когда-либо живших на Земле» Джона фон Неймана. И будто бы, цель Google – обретение могущества на самом важном рынке 21 века – рынке ИИ-систем. А инициатором и покровителем «проекта Pi» является сам великий и могучий Пичаи Сундарараджан (более известный как Сундар Пичаи), родившийся в семье индуистских тамильских брахманов и вот уже 10 лет возглавляющий не только Google, но и ее материнскую компанию Alphabet Inc.
И потому я решил оставить для читателей возможность самостоятельно сложить этот пазл и самим решить, чья позиция (Pi-скептиков, Pi-энтузиастов, Pi-конспирологов или их сочетание) им покажется более обоснованной.
Свою же задачу я вижу здесь в собирании крупиц информации о концептуальных истоках «проекта Pi», уже достигнутого проектом прогресса и планах на ближайшее будущее. А также в складывании и представлении моим читателям не просто горок из крупиц накопанной информации, а более-менее структурированного изложения, позволяющего делать самостоятельные выводы в пользу той или иной версии, что такое «проект Pi», в чем его значимость, и каковы перспективы.
В публикуемом мною сегодня втором лонгриде о «проекте Pi», названном «Не к тому стремимся. Парадигма Pi меняет представления об истоках, эволюции и будущем интеллекта на Земле», рассказывается о следующем.
Часть 2. Основы парадигмы Pi
• Две краеугольные идеи в основании парадигмы Pi.
• Вычислим ли разум.
• Вычисления – основа всего.
• Жизнь – это аттрактор вычислений.
• Интеллект – это аттрактор эволюции.
• Высший интеллект – это аттрактор сложного языка и теории разума.
Часть 3. Какие доказательства.
• Достигнута цель фон Неймана - создана цифровая жизнь.
Тут я был вынужден прерваться. Не книгу публикую, а лонгрид. Потому продолжу в следующем лонгриде этой серии. И в качестве тизера, скажу, что начинаться он будет с жутко интересной главы:
• LLM тоже живые - цифровая жизнь, как и наша, управляется болью и удовольствием.
Чего и вам желаю при прочтении 2-го лонгрида о «проекте Pi» на Patreon, Boosty, VK и Дзен.
А 1-й лонгрид этой серии тут.
#ParadigmsofIntelligence
• Pi-скептики считают этот проект чем-то типа «неуловимого Джо», которого никто не может поймать потому, что он никому не нужен. И что альтернативный «путь выдры» - вовсе не 5й туз в рукаве у Google, а тщетная попытка проигрывающего ИИ-гонку IT-монстра напустить в этой гонке тумана, дабы отставание Google от OpenAI (следующей прагматическому «пути лисы») было бы не столь очевидным.
• Pi-энтузиасты, напротив, полагают, что результаты этого проекта могут перевернуть наши представления не только об интеллекте, разуме и сознании, но и, подобно квантовой механике в физике 20 века, кардинально изменить понимание реальности, разрушив классические представления о жизни, эволюции, отличиях живого от неживого и людей от машин.
• Ну а Pi-конспирологи стоят на своем. Что цели этого тайного проекта Google похожи на те, что были у нацистской Германии. Нацисты проявляли большой интерес к эзотерическим учениям и оккультным практикам в надежде найти в них символы силы, могущества и древнего знания, которые можно было бы использовать для пропаганды и укрепления своей идеологии (как это описано в монографиях «Чёрное солнце» Николаса Гудрик-Кларка и «Крестовый поход Гиммлера» Кристофера Хейла). Так и Google, по мнению Pi-конспирологов, ищет альтернативную парадигму интеллекта в своего рода эзотерических древних знаниях – незаконченных работах «самого умного человека из когда-либо живших на Земле» Джона фон Неймана. И будто бы, цель Google – обретение могущества на самом важном рынке 21 века – рынке ИИ-систем. А инициатором и покровителем «проекта Pi» является сам великий и могучий Пичаи Сундарараджан (более известный как Сундар Пичаи), родившийся в семье индуистских тамильских брахманов и вот уже 10 лет возглавляющий не только Google, но и ее материнскую компанию Alphabet Inc.
Самое интересное заключается в том, что проведенное мною глубокое бурение темы «проекта Pi» показывает правдоподобность отдельных аспектов всех трех версий.
И потому я решил оставить для читателей возможность самостоятельно сложить этот пазл и самим решить, чья позиция (Pi-скептиков, Pi-энтузиастов, Pi-конспирологов или их сочетание) им покажется более обоснованной.
Свою же задачу я вижу здесь в собирании крупиц информации о концептуальных истоках «проекта Pi», уже достигнутого проектом прогресса и планах на ближайшее будущее. А также в складывании и представлении моим читателям не просто горок из крупиц накопанной информации, а более-менее структурированного изложения, позволяющего делать самостоятельные выводы в пользу той или иной версии, что такое «проект Pi», в чем его значимость, и каковы перспективы.
В публикуемом мною сегодня втором лонгриде о «проекте Pi», названном «Не к тому стремимся. Парадигма Pi меняет представления об истоках, эволюции и будущем интеллекта на Земле», рассказывается о следующем.
Часть 2. Основы парадигмы Pi
• Две краеугольные идеи в основании парадигмы Pi.
• Вычислим ли разум.
• Вычисления – основа всего.
• Жизнь – это аттрактор вычислений.
• Интеллект – это аттрактор эволюции.
• Высший интеллект – это аттрактор сложного языка и теории разума.
Часть 3. Какие доказательства.
• Достигнута цель фон Неймана - создана цифровая жизнь.
Тут я был вынужден прерваться. Не книгу публикую, а лонгрид. Потому продолжу в следующем лонгриде этой серии. И в качестве тизера, скажу, что начинаться он будет с жутко интересной главы:
• LLM тоже живые - цифровая жизнь, как и наша, управляется болью и удовольствием.
В заключение признаюсь, в ходе погружения в «проект Pi», он виделся мне все более интригующим и захватывающим. Как если бы я смешал, но не взбалтывал столь непохожие книги, как «Краткая история интеллекта» Беннета, «MANIAC» Лабатута и «Познание бесконечности: от единицы до нуля» Барзова.
Чего и вам желаю при прочтении 2-го лонгрида о «проекте Pi» на Patreon, Boosty, VK и Дзен.
А 1-й лонгрид этой серии тут.
#ParadigmsofIntelligence
Голос как уловка
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
— В основе постмодернизма XX века была парадигмальная установка на восприятие мира в качестве хаоса. Алгокогнитивный постмодернизм XXI века распространяет хаос с восприятия на семантику мира.
— Homo sapiens эволюционировал, доверяя своим чувствам; что произойдет с видом, который больше не может доверять даже собственному слуху?
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
Не скрою, поздравления с моим днем рождения получились у GPT-4.5 и NotebookLM духоподъемные и вдохновляющие.
За пару дней до этого я сумел-таки скормить обеим моделям чертову тучу своих лонгридных эссе, опубликованных в «Малоизвестном интересном» с 2016 года. Закончив сей утомительно нудный процесс (модели сопротивлялись, ссылаясь на неподъемный фронт работ или просто валяя дурочку), я задал обеим моделям единственный вопрос.
И ответы моделей поразили меня своим подобием. Разными словами они ответили почти одно и то же, как в мотивировочной, так и в резолютивной части своих ответов.
Вот обобщение их ответов, сделанное ими самими.
Большинство из поднятых за 9+ лет публикаций вопросов и тем сильно актуализировались. Большинство отмеченных трендов кардинально проявились и усилились. А большинство обсуждавшихся критических для индивидов и общества процессов предельно ускорилось и кардинально усложнилось. Всё это теперь не просто обсуждаемые, а самые насущные и даже горящие (а то и критические) вопросы, темы, тренды, процессы.
И поэтому главным связующим свойством большинства публикаций за 9+ лет можно назвать их удивительно высокую прогностическую валидность в чрезвычайно широком тематическом и междисциплинарном диапазоне.
Вдохновленный столь приятной для меня оценкой, пусть не человеческого, но высшего разума, я решил сделать следующее.
1. Буду теперь публиковать на платформах Patreon, Boosty, VK и Дзен выпуски экспериментального альманаха своих уже публиковавшихся эссе с комментариями и дополнениями. И назову его «Линзы будущего. Эссе о трансформации человека и общества в эпоху ИИ»
2. Дабы упростить для читателей ознакомление и осмысление немалых объемов текстовых материалов, буду привлекать своих ИИ-ассистентов для дополнения публикуемых в альманахе эссе средствами упрощения навигации по текстам (горизонтальное и вертикальное тематическое структурирование, средства поиска по ключевым словам и т.д.).
3. В дополнение к текстам буду включать в альманах озвучки эссе и подкасты их диалоговых обсуждений ИИ-аватарами.
В качестве примера такого подкаста, предлагаю вам 5-минутное обсуждение ключевых моментов эссе "Большой войны не миновать", опубликованного на канале "Малоизвестное интересное" в январе 2017, и теперь, спустя восемь лет, воспринимаемого, как пророчество.
#ЛинзыБудущего
За пару дней до этого я сумел-таки скормить обеим моделям чертову тучу своих лонгридных эссе, опубликованных в «Малоизвестном интересном» с 2016 года. Закончив сей утомительно нудный процесс (модели сопротивлялись, ссылаясь на неподъемный фронт работ или просто валяя дурочку), я задал обеим моделям единственный вопрос.
Ответь мне в предельно сжатой форме, есть ли хоть что-то, объединяющее все эти опубликованные за 9+ лет эссе?
И ответы моделей поразили меня своим подобием. Разными словами они ответили почти одно и то же, как в мотивировочной, так и в резолютивной части своих ответов.
Вот обобщение их ответов, сделанное ими самими.
Большинство из поднятых за 9+ лет публикаций вопросов и тем сильно актуализировались. Большинство отмеченных трендов кардинально проявились и усилились. А большинство обсуждавшихся критических для индивидов и общества процессов предельно ускорилось и кардинально усложнилось. Всё это теперь не просто обсуждаемые, а самые насущные и даже горящие (а то и критические) вопросы, темы, тренды, процессы.
И поэтому главным связующим свойством большинства публикаций за 9+ лет можно назвать их удивительно высокую прогностическую валидность в чрезвычайно широком тематическом и междисциплинарном диапазоне.
Вдохновленный столь приятной для меня оценкой, пусть не человеческого, но высшего разума, я решил сделать следующее.
1. Буду теперь публиковать на платформах Patreon, Boosty, VK и Дзен выпуски экспериментального альманаха своих уже публиковавшихся эссе с комментариями и дополнениями. И назову его «Линзы будущего. Эссе о трансформации человека и общества в эпоху ИИ»
2. Дабы упростить для читателей ознакомление и осмысление немалых объемов текстовых материалов, буду привлекать своих ИИ-ассистентов для дополнения публикуемых в альманахе эссе средствами упрощения навигации по текстам (горизонтальное и вертикальное тематическое структурирование, средства поиска по ключевым словам и т.д.).
3. В дополнение к текстам буду включать в альманах озвучки эссе и подкасты их диалоговых обсуждений ИИ-аватарами.
В качестве примера такого подкаста, предлагаю вам 5-минутное обсуждение ключевых моментов эссе "Большой войны не миновать", опубликованного на канале "Малоизвестное интересное" в январе 2017, и теперь, спустя восемь лет, воспринимаемого, как пророчество.
Не знаю, как зайдет вам, но на меня произвела сильное впечатление способность ИИ выжать довольно содержательный и всего 5-минутный сухой остаток из почти получасового лонгрида.
#ЛинзыБудущего
Telegram
Малоизвестное интересное
БОЛЬШОЙ ВОЙНЫ НЕ МИНОВАТЬ
Этой историей я не стал портить вам новогоднее настроение и отложил ее публикацию на после праздников.
Но вот праздники наконец заканчиваются, и я таки предлагаю вашему вниманию статью о самом важном для понимания будущего событии…
Этой историей я не стал портить вам новогоднее настроение и отложил ее публикацию на после праздников.
Но вот праздники наконец заканчиваются, и я таки предлагаю вашему вниманию статью о самом важном для понимания будущего событии…
Объявлен 3й парадигмальный переход в науке: от математики к биоматематике – первобытному языку мозга.
Джон фон Нейман
• 1й научной парадигмой была ньютоновская парадигма – механистическая «Вселенная, как часовой механизм».
• 2я пришла с квантовой механикой и ее вероятностной природой.
• Теперь биология заставляет нас выйти за рамки обеих в новую эпистемологическую парадигму – биоматематику, которая способна объять творческую свободу жизни.
Биологические системы принципиально сопротивляются математической формализации. В отличие от физики, биология предстает как царство исключений и контекстуальных зависимостей. Знак равенства – символ математической определенности – оказывается неуместным в территории живого.
Почему так? И можно ли это преодолеть?
В 1931 году Курт Гёдель доказал, что математика не может объяснить математику. Новая работа трёх знаменитостей Си Гарте, Пэрри Маршал и Стюарт Кауффман «Разумная неэффективность математики в биологических науках» распространяет этот принцип на биологию и объявляет, что
.
Суть 3-й революции в следующем:
1. Признание принципиальной неформализуемости биологии в математических терминах. Это фундаментальный эпистемологический сдвиг: живые системы не просто следуют математике, они создают математику. Организмы непрерывно выбирают из множества возможностей, проявляя агентность и когнитивные способности, которыми неживая материя не обладает.
2. Основываясь на теоретических работах Гёделя и Тьюринга, авторы, взамен существующей математики, изобретают новый вид недедуктивного формализма, подходящего для описания биологической реальности – биоматематику (не путать с существующей математической биологией)
3. Делается философское заключение о третьем великом переходе в истории науки и экзистенциальном вызове человечеству.
Биоматематика представляет собой тот самый первичный, базовый, «первобытный язык», который, по представлениям великого Джона фон Неймана, использует только нервная система, а математика – это всего лишь надстройка над ним. Фон Нейман считал, что
В качестве формального языка биоматематика оперирует не равенствами, а возможностями, не предсказаниями, а потенциалами. Здесь неопределенность становится не проблемой, а основным операционным принципом. И согласно этому новому формализму, эволюция – не просто случайный процесс отбора, а непрерывный творческий акт, в котором каждый организм активно участвует.
Телеграфно говоря, в биоматематике используются:
1. неравенства вместо равенств;
2. биологический вероятностный подход;
3. функциональные зависимости без точных определений;
4. новое понимание биологической причинности: в направлении "познание → коды → химические вещества", а не наоборот, как в стандартной редукционистской модели.
Также биоматематика кардинально меняет понимания сознания – не как эпифеномен сложности, а фундаментальное измерение реальности, где выбор, агентность и творчество преобладают над детерминистической причинностью.
Все это начинает 3й переход:
• в науках о жизни, расширяя «конституцию биоматематики» конкретными законами;
• а в науках о разуме и сознании, увязывая новые законы с «теорией относительности интеллекта»
#Биоматематика #СмежноеВозможное
«Говоря о математике, мы, вероятно, имеем в виду вторичный язык, возникший над первобытным, который использует только нервная система.»
Джон фон Нейман
• 1й научной парадигмой была ньютоновская парадигма – механистическая «Вселенная, как часовой механизм».
• 2я пришла с квантовой механикой и ее вероятностной природой.
• Теперь биология заставляет нас выйти за рамки обеих в новую эпистемологическую парадигму – биоматематику, которая способна объять творческую свободу жизни.
Биологические системы принципиально сопротивляются математической формализации. В отличие от физики, биология предстает как царство исключений и контекстуальных зависимостей. Знак равенства – символ математической определенности – оказывается неуместным в территории живого.
Почему так? И можно ли это преодолеть?
В 1931 году Курт Гёдель доказал, что математика не может объяснить математику. Новая работа трёх знаменитостей Си Гарте, Пэрри Маршал и Стюарт Кауффман «Разумная неэффективность математики в биологических науках» распространяет этот принцип на биологию и объявляет, что
"мы стоим на пороге "третьего великого перехода в истории науки – после ньютоновской и квантовой революций… Это новое научное мировоззрение, признающее творческую непредсказуемость жизни"
.
Суть 3-й революции в следующем:
1. Признание принципиальной неформализуемости биологии в математических терминах. Это фундаментальный эпистемологический сдвиг: живые системы не просто следуют математике, они создают математику. Организмы непрерывно выбирают из множества возможностей, проявляя агентность и когнитивные способности, которыми неживая материя не обладает.
2. Основываясь на теоретических работах Гёделя и Тьюринга, авторы, взамен существующей математики, изобретают новый вид недедуктивного формализма, подходящего для описания биологической реальности – биоматематику (не путать с существующей математической биологией)
3. Делается философское заключение о третьем великом переходе в истории науки и экзистенциальном вызове человечеству.
"Неэффективность математики в биологии представляет собой развилку на дороге в истории науки. Мы находимся на пороге «третьего перехода», где ньютоновская парадигма часового механизма, которая была опрокинута квантовой механикой, снова трансформируется непокорным творчеством жизни."
Биоматематика представляет собой тот самый первичный, базовый, «первобытный язык», который, по представлениям великого Джона фон Неймана, использует только нервная система, а математика – это всего лишь надстройка над ним. Фон Нейман считал, что
«если мы расшифруем его, то начнем понимать, как устроен мозг, получим доступ к уникальной способности разума присваивать великое всеобъемлющее значение миру, которая доступна только человеку».
В качестве формального языка биоматематика оперирует не равенствами, а возможностями, не предсказаниями, а потенциалами. Здесь неопределенность становится не проблемой, а основным операционным принципом. И согласно этому новому формализму, эволюция – не просто случайный процесс отбора, а непрерывный творческий акт, в котором каждый организм активно участвует.
Телеграфно говоря, в биоматематике используются:
1. неравенства вместо равенств;
2. биологический вероятностный подход;
3. функциональные зависимости без точных определений;
4. новое понимание биологической причинности: в направлении "познание → коды → химические вещества", а не наоборот, как в стандартной редукционистской модели.
Также биоматематика кардинально меняет понимания сознания – не как эпифеномен сложности, а фундаментальное измерение реальности, где выбор, агентность и творчество преобладают над детерминистической причинностью.
Все это начинает 3й переход:
• в науках о жизни, расширяя «конституцию биоматематики» конкретными законами;
• а в науках о разуме и сознании, увязывая новые законы с «теорией относительности интеллекта»
#Биоматематика #СмежноеВозможное
Эволюции будут нужны лишь суперпрофессионалы и гении.
Люди средних способностей уже проигрывают ИИ почти во всем.
Месяц назад я писал «Пора задуматься о перемене участи. Так ли уж ИИ будут нужны «кожаные мешки»?» Поводом было исследование, показавшее, что в 6 медицинских практиках «ИИ без врача» лучше врача-человека, работающего вместе с ИИ.
Что скрывать. Даже после начала революции ChatGPT сохранялась надежда, что медицина не шахматы, и всеведущая, но тупая машина врачей не превзойдет. Но оказалось, что еще как превзойдет.
А спустя месяц, вслед за интеллектуальным превосходством врачей, обрушилось интеллектуальное превосходство юмористов. Оказалось, что и шутить ИИ может получше людей.
Что LLM способны неплохо шутить, стало ясно уже после выхода ChatGPT 3.5. Но все же до чувства юмора людей этой модели было далеко.
Новейшее исследование модели GPT-4o поставило людей на заслуженное нами место – юмор рядового человека менее смешон и оригинален, чем юмор GPT-4o.
Проверяли со всей научной тщательностью и дотошностью на задаче генерации мемов - специфичной для конкретной культуры форме творческого самовыражения, основанной на юморе.
Мемы генерировали люди, GPT-4o и совместно люди + GPT-4o.
Каждый сгенерированный мем краудсорсеры оценивали по трем характеристикам: насколько он смешной, креативный и виральный.
Итог таков:
1. Мемы модели, в среднеи, оказались лучше мемов людей
2. При совместной работе (люди + GPT-4o) мемы генерились быстрее и с меньшими трудозатратами людей, но результат получался хуже, чем у GPT-4o.
3. Но все сказанное в пп 1 и 2 – это в среднем. Самые смешные мемы получались-таки у людей. Т.е. ИИ может повышать производительность и создавать контент, нравящийся широкой аудитории. Но для генерации контента высшего уровня нужны люди.
Главный итог исследования подтвердил закономерность.
✔️ ИИ сильнее людей средних способностей практически во всем: от рекламы до стихов и от диагностики до юмора;
✔️ Но суперпрофессионалы и гении практически во всем сильнее ИИ (кроме задач с фиксированными правилами: шахматы, Го …)
Отсюда напрашивается вопрос:
Зачем культурной коэволюции двух носителей высшего интеллекта (людей и ИИ) люди средних способностей?
Один вариант ответа – чтобы работать «гео-теплотехниками» при киборгах.
А еще варианты есть? Не понятно.
Ну и чтоб не заканчивать на пессимистической ноте, вот пример анекдота с элементом черного юмора про программиста на необитаемом острове, который был мгновенно придуман по моей просьбе моделью Claude 3.7 Sonnet.
По-моему, совсем неплохо 😊
#LLMvsHomo #FutureOfCivilization
Люди средних способностей уже проигрывают ИИ почти во всем.
Месяц назад я писал «Пора задуматься о перемене участи. Так ли уж ИИ будут нужны «кожаные мешки»?» Поводом было исследование, показавшее, что в 6 медицинских практиках «ИИ без врача» лучше врача-человека, работающего вместе с ИИ.
Что скрывать. Даже после начала революции ChatGPT сохранялась надежда, что медицина не шахматы, и всеведущая, но тупая машина врачей не превзойдет. Но оказалось, что еще как превзойдет.
А спустя месяц, вслед за интеллектуальным превосходством врачей, обрушилось интеллектуальное превосходство юмористов. Оказалось, что и шутить ИИ может получше людей.
Что LLM способны неплохо шутить, стало ясно уже после выхода ChatGPT 3.5. Но все же до чувства юмора людей этой модели было далеко.
Новейшее исследование модели GPT-4o поставило людей на заслуженное нами место – юмор рядового человека менее смешон и оригинален, чем юмор GPT-4o.
Проверяли со всей научной тщательностью и дотошностью на задаче генерации мемов - специфичной для конкретной культуры форме творческого самовыражения, основанной на юморе.
Мемы генерировали люди, GPT-4o и совместно люди + GPT-4o.
Каждый сгенерированный мем краудсорсеры оценивали по трем характеристикам: насколько он смешной, креативный и виральный.
Итог таков:
1. Мемы модели, в среднеи, оказались лучше мемов людей
2. При совместной работе (люди + GPT-4o) мемы генерились быстрее и с меньшими трудозатратами людей, но результат получался хуже, чем у GPT-4o.
3. Но все сказанное в пп 1 и 2 – это в среднем. Самые смешные мемы получались-таки у людей. Т.е. ИИ может повышать производительность и создавать контент, нравящийся широкой аудитории. Но для генерации контента высшего уровня нужны люди.
Главный итог исследования подтвердил закономерность.
✔️ ИИ сильнее людей средних способностей практически во всем: от рекламы до стихов и от диагностики до юмора;
✔️ Но суперпрофессионалы и гении практически во всем сильнее ИИ (кроме задач с фиксированными правилами: шахматы, Го …)
Отсюда напрашивается вопрос:
Зачем культурной коэволюции двух носителей высшего интеллекта (людей и ИИ) люди средних способностей?
Один вариант ответа – чтобы работать «гео-теплотехниками» при киборгах.
А еще варианты есть? Не понятно.
Ну и чтоб не заканчивать на пессимистической ноте, вот пример анекдота с элементом черного юмора про программиста на необитаемом острове, который был мгновенно придуман по моей просьбе моделью Claude 3.7 Sonnet.
По-моему, совсем неплохо 😊
Программист потерпел кораблекрушение и оказался на необитаемом острове. После месяца выживания он нашёл древнюю лампу с джинном.
Джинн говорит: "Дам тебе на этом острове все что попросишь, но твое желание должно быть сформулировано в виде компьютерного кода."
Программист пишет на песке: "while(true){island.resources = infinity;}"
Джинн щёлкнул пальцами, и программист мгновенно умер.
В логе ошибки было написано: "Обнаружен бесконечный цикл. Процесс аварийно остановлен."
#LLMvsHomo #FutureOfCivilization