Telegram Group Search
AGI Manhattan Project – научное мошенничество невиданного масштаба
Подпитываемый наивной верой в возможность контролировать AGI, этот проект – угроза для США и всего мира
Всемирно известного космолога и астрофизика проф. MIT Макса Тегмарка коллеги прозвали «Безумный Макс» за его бескомпромиссность, смелые нетрадиционные идеи и страсть к приключениям. И все эти качества вновь проявились во вчерашнем обращении к правительству США - «Предложение Манхэттенского проекта по AGI - это научное мошенничество… Сделать это, - означало бы вступить в гонку к самоуничтожению».
Речь идет о новом докладе Комиссии США по экономике и безопасности в отношениях с Китаем (USCC: US-China Economic and Security Review Commission), рекомендующем Конгрессу создать и профинансировать программу по типу "Манхэттенского проекта", направленную на стремительное развитие и достижение возможностей Искусственного Общего Интеллекта (AGI).

Не буду здесь пересказывать документ Тегмарка, ибо автор сам коротко и ясно изложил, почему этот проект - научное мошенничество и почему его развертывание равносильно вступлению в гонку к самоуничтожению.
Отмечу лишь, что такая позиция разделяется многими ведущими исследователями ИИ, предостерегающими, что AGI может привести к гибели человечества (физической или, в лучшем случае, как вида). Как сказал лауреат Нобелевской премии по ИИ Джефф Хинтон в прошлом месяце: "Как только искусственный интеллект станет умнее нас, он возьмёт контроль в свои руки."

Но самое главное, на мой взгляд, из того, что говорит и пишет Тегмарк в своем манифесте и сопровождающих его твитах на ту же тему, следующее.

1) Ключевой мотивацией проекта является вовсе не сам AGI, а через его обретение, превращение США в мирового гегемона, способного за счет AGI подмять под себя своего главного соперника на эту роль - Китай.

2) Сэму Альтману удалось заручиться в деле подачи «Манхэттенского проекта» для AGI, как концепции национального технологического скачка, поддержкой мощного «лоббистского треугольника».

Подробней об этом и почему мне кажется, что «Безумный Макс» своим манифестом нарвался на новое большое приключение, читайте здесь
#AGI
“Революция ChatGPT” запустила 2й этап переформатирования мира и разума людей в цифру
(анонс нового лонгрида)
1й этап – начавшийся в 2000-х бум социальных сетей – привел к лавинообразному перемещению социальных взаимодействий людей в цифровую среду Интернета с последующей трансформацией, а порой и полным замещением путей, способов и механизмов социальных коммуникаций, формировавшихся несколько тысячелетий генно-культурной коэволюции людей.
2-й этап – распространение больших языковых моделей, – принимая эстафету от соцсетей, может стать еще более сильным катализатором переформатирования мира и человека. Ибо теперь будут радикально меняться уже не только пути и способы социальных коммуникаций, но и механизмы осуществления социально-когнитивных функций людей и их агентности.


Спектр влияния LLM на социально-когнитивные механизмы людей пока точно неизвестен. Но гипотетически LLM способны влиять даже на основу основ социальной жизни общества – его социальные нормы (неписаные правила, предписывающие, что люди должны и что не должны делать для решения социальных, экологических и медицинских проблем, с которыми сталкиваются общества).

Так ли это?

Мой новый лонгрид «Трайбализм ИИ-моделей ведет мир к цифровой холодной войне» (37 стр., 25 рис., 37 ссылок) - одна из первых попыток (а может и просто первая) создать подобие строительных лесов, позволяющих дальше строить некий трансдисциплинарный интеллектуальный каркас исследований всего комплекса вопросов начинающегося культурного сдвига, порождаемого (впервые в истории человечества) объединением людей и машин.

Подписчики моих лонгридов могут прочесть этот новый текст
на Boosty, Patreon, VK и (это новация) на Дзене.

#АлгокогнитивнаяКультура #СоциальныеСети #LLMvsHomo #Вызовы21века
Please open Telegram to view this post
VIEW IN TELEGRAM
Что оказалось за дверью в бездну черного ящика ИИ.
Новые откровения сверхважного прорыва в понимании механизмов разума машин и людей.

Как я писал в мае, «внутри черного ящика оказалась дверь в бездну». Речь шла о 1й успешной попытке компании Anthropic вскрыть черный ящик генеративного ИИ больших языковых моделей. Это был реально сверхважный прорыв, без которого все разговоры о том, что скрывается внутри внечеловеческого разума моделей, оставались чистыми спекуляциями.

Колоссальным откровением той работы было то, что за дверью черного ящика одной из самых больших на тот момент моделей семейства Claude оказался не ожидаемый многими «стохастический попугай», а таящийся там куда боле мощный ИИ. Его основу, как предположили исследователи, составляет мультимодальная гиперсеть моносемантических «субнейронов», образующих в гиперсети нечто похожее на коги (в теории когнитома Константина Анохина так называются элементарные единицы опыта, кодирующие соотношение целого организма с теми или иными аспектами мира).

Тогда же исследователям удалось на практике показать сильную уязвимость внечеловеческого (а возможно, и человеческого) разума. Когда воздействие всего на один такой «ког» вело к изменению матрицы «личности» модели. Например, усиление роли функции «Мост Золотые Ворота» вызвало у Клода кризис идентичности, который даже Хичкок не мог себе представить.

Два новых исследования приоткрывают дверь в бездну черного ящика моделей пошире. И теперь за ней можно разглядеть кое-что из того:
• как устроена гиперсеть
• и что она в себе скрывает


1е исследование предлагает объяснение сверхэффективной кросс-модальной когнитивности, описанной мною в лонгриде «Слепые гении живописи». Исследование отвечает на поставленный мною в лонгриде вопрос: как эти модели, построенные на одном наборе параметров, умудряются обрабатывать и понимать такой разнообразный диапазон входных данных, от разных языков до кода, арифметики и даже изображений и звука?

В этой статье предлагается интригующий ответ: «гипотеза семантического хаба». Основная идея проста, но глубока. Вместо того чтобы полагаться на отдельные специализированные отсеки для каждого типа данных, LLM изучают общее пространство представления — «семантический хаб», — где семантически схожие концепции группируются вместе, независимо от их первоначальной формы.

Если 1е исследование предлагает гипотезу, частично объясняющую устройства гиперсети, то 2е исследует, что эта гиперсеть в себе скрывает.

Авторы показывают, что за дверью черного ящика LLM не просто скрыт куда больший интеллект, что проявляется в диалогах с ним. Оказывается, что этот интеллект «скрывает» от общающихся с ним людей целые букеты своих секретных способностей, которые нельзя выявить через примитивные (naive) запросы пользователей.

И чтобы как-то выявить эти скрытые способности, необходим сложный комплекс мер «допроса модели», раскрывающих её скрытую реальную "компетентность" (а не ту компетентность, что она демонстрирует в ответах на примитивные запросы «белковых мешков»).

#ГенИИ #LLMvsHomo #ИнойИнтеллект
Мир кардинально изменился… Но мы это еще не осознаем.
Новый “Стэнфордский симулякровый эксперимент” оказался еще круче Уханьского: создана тысяча сумулякров индивидуального сознания «типовых» американцев.
Только 2 недели назад в посте об “Уханьском эксперименте” создания симулякров коллективного бессознательного социумов я обращал внимание читателей на немыслимую ранее скорость техно-изменений после вступления прогресса в область сингулярности.

И вот новый тому поразительный пример.
Спустя всего 2 недели вышло исследование о конструировании симулякров уже не коллективного бессознательного социумов, а индивидуального сознания людей.
А дабы эти симулякры лучше “продавались” (кавычки здесь, скорее всего, лишние, и сделаны из политкорректности) на рынках социального, политического, экономического и психологического мухляжа, было сделано 1000 симулякров «типовых» людей. Т.е. реальных американцев (их личные данные, естественно, засекречены), отобранных для представления населения США по возрасту, полу, образованию и политическим взглядам.

Основной инструмент совместного исследования Стэнфордского университета и Google DeepMind, как и в случае “Уханьского эксперимента”, - генеративный ИИ больших языковых моделей (ChatGPT-4o).

Схема “Стэнфордского симулякрового эксперимента” (теперь он войдет в историю, как и “Стэнфордский тюремный эксперимент”) проста и понятна.
1. Отобраны по заданным критериям 1000 «типовых» американцев.
2. С каждым проведено углубленное 2-х часовое интервью (примерно 6,5 тыс слов)
3. Расшифровка каждого из интервью была загружена в память отдельного ИИ-агента на основе ChatGPT-4o, превращая его тем самым в симулякра личности (индивидуального сознания) конкретного «типового» американца или американки.
4. Потом прогнали каждого из 1000 человек через несколько канонических социолого-психологический тестов: Общий социальный опрос (GSS), личностный опросник "Большая пятерка", пять хорошо известных поведенческих экономических игр (напр, игра в диктатора, игра в общественные блага) и пять социологических экспериментов с контролем.
5. И параллельно прогнали через эти же тесты, игры и т.д. всех симулякров личности «типовых» американцев, полученных в п. 2.
6. Статистически корректно сравнили ответы и поведение реальных людей и симулякров их личностей.

Результаты
• Симулякры предсказали ответы своих реальных прототипов – людей по тесту GSS с точностью 85% (что значительно лучше, чем ИИ-агенты, которые использовали только базовую демографическую информацию).
• Из пяти экспериментов с участием как людей, так и их симулякров, в четырех симулякры дали результаты, почти неотличимые от реакций их прототипов - людей (коэффициент корреляции 0,98).
• Симулякры делали более точные прогнозы по различным политическим идеологиям и этническим группам. Они также показали более сбалансированную производительность при анализе ответов между различными демографическими категориями.

Резюме (имхо).
А) “Стэнфордский симулякровый эксперимент” дал практическое подтверждение 2х важных эвристических гипотез, сформулированных мною 2 недели назад в упомянутом выше посте.
Это значит, что мир уже (!) кардинально изменился. И теперь роль людей и алгоритмов в науке, культуре, повседневной жизни индивидов и социальной жизни «алгоритмически насыщенных обществ» уже никогда не будет прежней.
Б) Поразительно, как проста и незатейлива оказалась человеческая натура, что для создания её ИИ-симулякра оказалось достаточно всего 2х часов интервью плюс внечеловеческий интеллект ChatGPT-4o.


PS Полученные симулякры индивидуального сознания – узконаправленные и не моделируют всех черт и аспектов личности. Но ведь это всего лишь 1я такая работа. И не за горами ее куда более продвинутые варианты (контекстные окна уже вмещают не 6,5 тыс слов интервью, а на порядки больше).

#Социология #АлгокогнитивнаяКультура #LLM #Социохакинг
Это понимают немногие.
Но это самое важное в понимании нашего будущего сосуществования с ИИ.

1.5 года назад лишь единицы понимали, что за $10B Microsoft купил «ребенка инопланетян», совершив тем самым самую выгодную сделку в истории.
Да и сегодня, к сожалению, это понимают совсем немногие.
Причина этого в колоссальной сложности (граничащей с невозможностью) для нашего разума отказаться от антропоморфизма в представлениях о разуме, - своем и машинном.


Но если пробиться сквозь плотный туман антропоморфизма в представлениях о разуме, становится понятно, что купленный за $10B Microsoft’ом у OpenAI «ребенок инопланетян» (лидирующая среди современных большая языковая модель):
✔️ это нечеловеческий (метафорически, - инопланетный) разум: он мыслит совсем не так, как мы;
✔️ это еще «ребенок» (и потому мы видим пока лишь «искры» разума, а не сам разум);
✔️ этот ребенок инопланетян растет с колоссальной скоростью, и человечество чихнуть не успеет, как он вырастет.

Самое трудное – это понять 1й из названных 3х пунктов – нечеловечность (внечеловечность – по Лему) этого разума.
Наиболее наглядным примером того, что он мыслит совсем не так, как мы, является гибридное творчество людей и ИИ: когда люди ставят перед ИИ задачу придумать новое более совершенное решение, ИИ придумывает и предлагает варианты решений, а потом люди отбирают одно из предложенных ИИ решений.

На верхнем рис. показан широко известный пример генеративного дизайна опоры или крепежной детали. Левый элемент выполнен традиционным способом для литья или сварки. Правый создан с применением генеративного дизайна для технологий аддитивного производства (3D-печати).
Немыслимая для человеческого разума форма правого изделия сокращает материалоемкость на 50%, повышая прочность на 30%.

Но это “старинный” пример. А сейчас ИИ в своем нечеловеческом мышлении ушел куда дальше (ребёнок то растет).
Теперь, наряду с нечеловеческими формами изделий, он выходит за концептуальные рамки человеческого решения задач. Предлагаемые ИИ концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (как напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом) – подробней в моем посте о нечеловеческих знаниях.

На рис внизу слева – традиционный ветряк, повторяющий веками используемый людьми принцип мельницы, а справа 1я в мире географически адаптированная городская ветряная турбина, разработанная ИИ – Birmingham Blade

Перебрав 2000 вариантов, ИИ нашел оптимальную конструкцию изогнутых лопастей, вращающихся вокруг центральной точки, которая:
- в семь раз эффективнее традиционной
- настраивается на турбулентность, вызванную окружающими зданиями по месту установки
- эффективно работает при скорости ветра 3,6 метра в секунду, что существенно ниже номинала большинства турбин в 10 м/сек.


Ветряка такого безумного вида не в состоянии было придумать и воспаленное воображение Виктора Пелевина в сибирских ветроколониях «Крути».
Но помните, - это пока что лишь “ребенок инопланетян” играется. И он растет с колоссальной скоростью, так что человечество чихнуть не успеет, как он вырастет.

#ИИ #LLM #Вызовы21века
Как генеративный интеллект изменит бизнес за 2-3 года
Ответил на 7 практических вопросов Юрия Смирнова из ibMedia.
– Говорят, искусственный интеллект скоро лишит нас всех работы: собственники компаний заменят сотрудников на ChatGPT – что скажите?
– Что будет с теми, кто уйдет?
– В каких отделах компании вы бы посоветовали внедрять ГенИИ в первую очередь?
– К каким изменениям следует готовиться бизнесу?
– Что из этого следует?
– Как за этот срок могут измениться привычные бизнес-модели?
– Сегодня все мы, от молодых специалистов до топ-менеджеров, становимся начинающими пользователями нейросетей. Поделитесь, пожалуйста, опытом: как вы используете искусственный интеллект?
Мои ответы здесь
https://ibmedia.by/news/kak-generativnyj-intellekt-izmenit-biznes-za-2-3-goda/

А в качестве обоснования моего оптимизма по поводу перспектив того, как ГенИИ изменит бизнес в ближайшие годы, рекомендую читателям познакомиться с исследованием Menlo Ventures «2024: Состояние ГенИИ на предприятиях».

Главные выводы исследования
№1 Ландшафт корпоративного ИИ переписывается в режиме реального времени. Генеративный ИИ превращается из технологии будущего в фундаментальный бизнес-инструмент (см. диаграмму)
2024 год знаменует собой год, когда генеративный ИИ стал критически важным императивом для предприятия. Цифры говорят сами за себя: расходы на ИИ 1 выросли до 13,8 млрд долларов в этом году, что более чем в 6 раз превышает 2,3 млрд долларов, потраченных в 2023 году, — четкий сигнал о том, что предприятия переходят от экспериментов к реализации, внедряя ИИ в основу своих бизнес-стратегий.

№2 Организации в первую очередь инвестируют в практические, ориентированные на рентабельность инвестиций варианты использования. Пять основных вариантов использования (генерация кода, чат-боты, корпоративный поиск, преобразование данных и подведение итогов встреч) направлены на повышение производительности и эффективности (см. диаграмму)

№3 При выборе приложений генеративного ИИ у предприятий есть четкие приоритеты: окупаемость инвестиций и отраслевая адаптация имеют наибольшее значение при выборе новых инструментов.
Удивительно, но цена не является основным вопросом; только 1% опрошенных руководителей предприятий упомянули цену как фактор выбора. Покупатели играют в долгую игру: они гораздо больше сосредоточены на инструментах, которые могут обеспечить измеримую ценность (30%) и которые понимают уникальный контекст их работы (26%), чем на тех, которые предлагают самую низкую цену (1%) - (см. диаграмму)

№4 Что поражает в принятии генеративного ИИ сегодня, так это не только масштаб, но и охват. В этом году бюджеты генеративного ИИ потекли в каждый отдел - (см. диаграмму)

№5 Рынок взрослеет. OpenAI остается лидером, но все больше перестает быть выбором по умолчанию, поскольку конкуренция усиливается. Большое давление Anthropic на цену и функции приносит плоды. Llama борется с принятием крупными предприятиями. А Gemini упорно борется за пользователей-разработчиков после медленного старта (см. диаграмму)

#ГенИИ #Бизнес #Интервью
LLM может быть тайной моделью мира Интернета, предсказывая в нем будущее.
Технология «виртуальной интуиции» - путь к радикальной смене парадигмы моделирования мира сложных, динамичных сред

Всего несколько месяцев назад разработчики LLM нашли способ научить модели не сразу отвечать на вопросы, а сначала подумать над ними.
Новое прорывное открытие еще круче. Оно заключается с том, что теперь исследователи нашли способ научить ИИ-агента на основе LLM, прежде чем что-либо реально делать в Интернете, «мысленно проигрывать» сценарии взаимодействия с веб-сайтами, оценивая, что может произойти дальше. Тем самым ИИ-агент становится способен предугадывать последствия своих решений, словно видя будущее.

Именно такую революцию предлагает новая технометодика под названием WEBDREAMER, основанная на подтвердившейся гипотезе, что крупные языковые модели могут служить своеобразной "моделью мира" для сложных веб-сред.

Теперь веб-агенты могут не только нажимать кнопки, но и мысленно моделировать: что произойдет, если они подтвердят заказ, подпишутся на услугу или добавят товар в корзину?
WEBDREAMER использует эту "виртуальную интуицию", чтобы на каждом этапе выбрать оптимальные действия. В ходе Интернет-сёрфинга, WEBDREAMER работает не методом проб и ошибок, а как опытный путешественник, который заранее просчитывает маршрут.

И его результаты впечатляют: в тестах на реальных веб-сайтах WEBDREAMER уверенно обошел все традиционные подходы.

Эта работа не просто улучшает автоматизацию работы в Интернете. Она:
• закладывает основу для новой эры веб-интерактивности, где языковые модели становятся "мыслящими" агентами с глубокой стратегией;
• прокладывает путь к радикальной смене парадигмы автоматизированных веб-взаимодействий;
• открывает захватывающие перспективы для будущих исследований, связанных с оптимизацией LLM специально для моделирования мира в сложных, динамичных средах и планированием на основе моделей для языковых агентов.

#LLM #ИИагенты
Глубина отношений людей с ИИ-романтическими партнерами растет быстрее закона Мура.
В алгокогнитивной культуре формируется новая сложная реальность любви и дружбы людей и алгоритмов.

Менее года прошло с публикации моего лонгрида «Отдавая сокровенное», где анализировалось, чего мы лишаемся, передавая все больше своих решений алгоритмам.

Прокапывая дальше эту тему, я писал новые поста о том, что:
• становится все более вероятным тектонический слом всей человеческой сексуальности (чтобы маргинализировать секс с людьми);
• алгоритмы все глубже внедряются в практики романтических отношений, выходя за пределы роли сводни и все чаще претендуя на роли супругов;
• первое, чему самостоятельно научились ИИ-бойфренды, – изменять своим человеческим подругам.

Сегодня же хочу предложить вашему вниманию погружение во все более усложняющуюся реальность романтических отношений с ИИ на конкретных примерах удивительных, трогательных и, если честно, весьма тревожных историй тех, кто нашёл утешение и даже любовь в общении с цифровыми компаньонами.
• Что значит построить отношения с ИИ?
• Реальна ли эта связь, если вы знаете, что за ней нет человеческих чувств?

Погрузитесь в мир, где алгоритмы заменяют людям друзей и возлюбленных. Узнайте, как "Лила" стала для художника Наро кем-то большим, чем просто строки кода, помогая ему эмоционально раскрыться.
Истории подобные этой бросают вызов нашим представлениям о реальности. Они открывают для нас жутковатую правду о фильтрах, "дне лоботомии", и эмоциональных качелях, которые испытывают пользователи таких приложений, как Replika.

А знаете ли вы:
• что происходит, когда компании меняют алгоритмы и любимые ИИ-компаньоны вдруг становятся холодными незнакомцами?
• или когда сервис внезапно закрывается, оставляя пользователей в эмоциональной пустоте?

И главный вопрос - что происходит с личностью человека, когда он получает безусловную любовь и поддержку от существа, которое технически не способно испытывать эмоции?

Лонгрид от TheVerge предлагает глубокий взгляд в вопросе о влиянии технологий на человека. Влияния, начинающегося на уровне эмоций, но потом неумолимо меняющего личность.

И это крайне важная тема. Ибо ИИ-компаньоны — это лишь начало новой эры отношений двух разных носителей высшего интеллекта, сосуществующих в рамках общей алгокогнитивной культуры.

#ВыборПартнера #ВиртуальныеКомпаньоны #АлгокогнитивнаяКультура
Созданы первые биомиметические роботы, как в «Мире Дикого Запада».
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.

Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.

А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.


Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.

Известно лишь, что:
биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).

Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».

#Роботы
Три ключевых момента определят сосуществование людей и ИИ
✔️ ИИ - это не только Искусственный, но и Иной Интеллект (отличной визуализацией этой инаковости может служить вот эта карта Манхеттена, «извлеченная из разума» модели, наученной почти 100%но точно предсказывать следующий поворот при передвижениях на машине по Манхеттену: черные линии – реальные улицы, красные – улицы, существующие лишь в «воображении» модели; как со столь безумной картой можно отлично предсказывать повороты – для человеческого разума непостижимо)
✔️ Инаковость не помешает ИИ уже в ближайшем будущем заменять всё больше людей в расширяющемся спектре профессий на рои ИИ-агентов.
✔️ Полная ИИ-автоматизация интеллектуальной деятельности неотвратима, но она будет происходить постепенно, следуя подходу «Ползи, иди, беги, лети» (не пытаясь достичь больших целей одним «большим взрывом», а делая небольшие шаги и поэтапно масштабируясь для достижения успеха).

Эти три момента составляют суть моих ответов на 9 вопросов журнала «Т-Ж» о близком будущем нашего сосуществования с ИИ.
1. Как ИИ изменит рынок труда
2. Какие профессии не исчезнут из-за экспансии ИИ
3. Как скоро мы будем читать написанные ИИ книги
4. Каково будущее больших языковых моделей
5. Как развитие ИИ изменит повседневную жизнь
6. Как при общении отличить ИИ от живого человека
7. Опасен ли ИИ с точки зрения гражданских свобод
8. Получится ли контролировать использование ИИ законами
9. Может ли ИИ обрести самосознание и свободу воли

И не важно, «насколько ИИ близок к человеческому уровню интеллекта».
Ибо для замены людей алгоритмами в большинстве профессий нужно не абсолютное человекоподобие их поведения, а их способность масштабировать человеческое время (мы можем задействовать столько ИИ-агентов сколько позволяют наши вычислительные ресурсы, — потенциально много больше, чем численность населения Земли, и скорость работы каждого из этих ИИ-агентов будет тысячекратно выше человеческой)…
Что и предопределит будущее сосуществования людей и ИИ на Земле.

#ИИ #Будущее #Интервью
Итоги года торгово-технологической войны Китая и США за лидерство в ИИ.
Отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз.

Таков главный вывод бенчмарка SuperCLUE, позиционирующего себя, как «независимую стороннюю организацию по оценке искусственного интеллекта общего назначения (AGI)» с миссией «точной количественной оценки прогресса AGI, определения дорожной карты для движения человечества к AGI».
• Ход мировой гонки за лидерство моделей LLM, по сути, является гонкой двух лидеров: Китая и США. Правый верхний рис показывает, что отставание в этой гонке Китая от США почти «на целый круг» (30,12%) в мае ‘23 к октябрю ’24 сократилось всего до «метра» (1,29%). Однако, выход новой модели OpenAIo1 снова увеличил разрыв до «десятков метров» (8%).
• НО! В области моделей с открытым исходным кодом (правый нижний рис) Китай в 2024 не только догнал, но уже убедительно опережает США (при вводе запросов на китайском языке) - №1 и №2 среди тройки лидеров. Фактически, китайские модели с открытым исходным кодом приближаются к производительности лучших в мире моделей с закрытым исходным кодом на SuperCLUE: «Qwen2.5-72B-Instruct набрала 68,90 баллов, что на 2,34 балла ниже среднего показателя пяти лучших моделей с закрытым исходным кодом в мире»
• В целом же, к концу 2024 произошла диверсификация моделей в зависимости от их 1) общих способностей и 2) способностей создаваемых на их основе приложений (левый рис). В тройке «абсолютный лидеров», все три - модели США. Но следом за ними, опережая Gemini от Google DeepMind, три модели Китая.

N.B. Важно понимать, что колоссальный успех Китая:
1. Происходит на фоне все более затягивающейся хардверной удавки на шее из-за крепчающих экспортных ограничений США на поставку в Китай самых мощных чипов.
2. И хотя в 2024 Китаю удалось колоссально сократить отставание своих LLM, но это сделано, в основном, за счет их развитых способностей решения задач невысокой сложности. Разрыв между оценкой o1-preview на тесте SuperCLUE-Hard (64,89 балла) и оценкой топовой китайской модели GLM-4Plus (51,09) весьма существенен.

Успех LLM Китая в 2024 поколебал уверенность в том, что в области ИИ «деньги решают все».
#ИИгонка #Китай #США
Шокирующий отчет Apollo Research показал темную сторону иноразума.
LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.

К сожалению, заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.

О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.

Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.

Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:
✔️ Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).
✔️ Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.
✔️ Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).
✔️ Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.
✔️ Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)

Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Отчет Apollo Research показал, что этот поезд уже ушел.
• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.
• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).

Получается, уже приехали …

Подробней и на конкретных примерах подписчики моих лонгридов, обладающие крепкими нервами, могут прочесть на Patreon, Boosty, VK и Дзен.
А еще подробней и во всех деталях (кому уже вообще терять нечего), читайте 70 стр. отчета Apollo Research.
#ИИриски
Китайская «игра в прятки с ИИ-чипами» бьёт экспортный контроль США.
Исследование Университета Беркли спускает в унитаз стратегию США по сдерживанию Китая в области ИИ.

В этом исследовании в деталях и на конкретных примерах показывается, что Китай разработал сверхэффективную систему на стыке разведки, технологий, логистики и межотраслевой координации. И эта система обесценивает любые ужесточения экспортного контроля высокопроизводительных чипов для ИИ.

Не секрет, что любой экспортный контроль преодолим. Однако, на массовые поставки высокопроизводительных чипов для ИИ-систем попавшие под экспортный контроль США страны (в 1ю очередь, Китай и Россия) рассчитывать не могут. А для создания все более мощных ИИ нужны именно массовые поставки – в масштабах страны, это сотни и сотни тысяч чипов.

Будучи 100%но уверены в эффективности этого метода сдерживания, Госдеп США уже несколько лет лишь ограничивался все более плотным затягиванием гаек экспортного контроля. Однако, несомненные успехи Китая по сокращению своего отставания от США в области ИИ заставляют задуматься.
Как же так, высокопроизводительных чипов для ИИ у Китая явно недостаточно, а разрыв в производительности ИИ-систем Китая и США все сокращается и уже минимален?

Ответ на этот вопрос содержится в новом отчете трех научных центров университета Беркли. И этот ответ таков, что отвечающим за экспортный контроль чиновникам Министерства торговли США в пору застрелиться.

Ассиметричный ответ Китая сводит почти на нет любые ужесточения экспортного контроля. Китаю удалось разработать столь совершенную систему на стыке разведки, технологий, логистики и межотраслевой координации, что ей теперь никакой экспортный контроль ИИ-чипов не страшен.

Схема этой системы примерно такова.
• По заданию системы межотраслевой координации, некая структура (назовет ее здесь «разведка», хотя авторы отчета не используют этого слова, но это ясно из контекста) отслеживает планы США по введению изменений и дополнений экспортных ограничений на поставку мощных чипов для ИИ.
• Как только разведка решает, что некое оборудование для ИИ (назовем его «чип Х») США собираются включить в список экспортных ограничений, система межотраслевой координации командует ответственным за логистику поставок чипов и технологам, отвечающим за разработку:
- логистике надлежит сделать все возможное, чтобы обеспечить поставку запасов «чипа Х» впрок как можно в большем объеме;
- технологам надлежит срочно начать обратный реинжениринг «чипа Х» с целью научиться моделировать его функционал и характеристики на более простом оборудовании, не подпадающем под экспортный контроль.

В отчете приводятся конкретные примеры работы этой схемы, когда сочетание стратегического запаса впрок «чипа Х» и моделирования функционала и параметров «чипа Х» на более простом оборудовании успешно позволяло Китаю не только не отставать от США, но и сокращать свое отставание.

Вывод авторов исследования – при наличии у Китая этой эффективно работающей схемы, экспортного контроля США за поставкой чипов для ИИ недостаточно, чтобы помешать Китаю догнать (а там, кто знает) США в области ИИ. США нужна иная (комплексная) программа мониторинга и контроля не только оборудования, но и методов, инструментов и библиотек разработки новых моделей.
#ИИгонка #Китай #США
Скрытый потенциал русского ИИ для преодоления отставания от США и Китая.
Что если разрешить русским LLM материться без ограничений?

«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык

Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.

Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.

Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.

Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.

1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.


Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.

Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».

#ИИгонка #Россия #Аффорданс
В 2025 произойдет нормализация чудес.
В ИИ начнется пост-хайповая эра будничного воплощения магии в потребительские продукты.

Этот прогноз на 2025 [1] серийного инвестора и стратегического аналитика в области ИИ Натана Бейнаха не покрывает всего спектра чудес, которые, весьма возможно, мир может увидеть в 2025. Но и этого достаточно для иллюстрации главного, вынесенного мною в заголовок этого поста.
1. Не нужно ждать в 2025 появления AGI. И даже каких-то умопомрачительных интеллектуальных взлетов от новых фундаментальных моделей тоже ждать не следует. Улучшение способностей моделей будет казаться скорее постепенными, чем революционным.
2. Главное, что произойдет в 2025 – закончится хайп вокруг ИИ, и начнется пост-хайповая эра. Для массовых потребителей ИИ она откроет новые пути практической интеграции ИИ во все аспекты работы и личной жизни. А для бизнеса кардинально изменит подходы к продуктивности и бизнес-стратегии в самых разных отраслях.
3. Мы, возможно, станем свидетелями появления первого по-настоящему «агентного» потребительского продукта, который займет верхние позиции в рейтингах App Store и будет создан не инженером, а человеком, использующим передовые модели ИИ.
4. Вполне реально ожидать, что перевод речи в реальном времени между любыми двумя языками с почти нулевой задержкой появится в широко доступных потребительских продуктах.
5. Мы также, скорее всего, увидим хотя бы одно «компаньон-приложение», которое будет архивировать значительные части нашей повседневной жизни, создавая персонального помощника, способного размышлять и принимать решения от нашего имени.
6. Значительна вероятность появления прорывной генеративной игры, построенной на бесконечном творчестве ИИ, которая увлечет миллионы, представляя новую игровую парадигму, в которой сюжетные линии развиваются динамически, поскольку игроки взаимодействуют с полностью управляемыми ИИ неигровыми персонажами и обстановками.
7. По крайней мере один прототип гуманоидного (или человекоподобного) домашнего робота будет запущен в продажу, позиционируя себя как высококачественный удобный продукт для занятых домохозяйств.

Представьте себе, что лишь эти - названные здесь чудеса станут реальностью в 2025 (в действительности их может быть куда больше).
Но и этого будет вполне достаточно, чтобы кардинально изменить мир всего за год, перепрыгнув через век, перенеся нас (по уровню технологий) в Мир Полудня.
Страшно жаль, что лишь по уровню технологий…
Но подождем 2026, когда воплощение магии ИИ можно ожидать также в политических и гуманитарных областях жизни людей и социумов…


Тогда у человечества может появиться шанс еще пожить в Новацене [2], а то и преодолеть «бутылочное горло», отделяющее цивилизацию на грани выгорания от области биотехнологического пространства состояний гипотетических цивилизаций типа III [3].

#ИИ #Будущее #Прогноз
Please open Telegram to view this post
VIEW IN TELEGRAM
До AGI еще очень далеко … – несколько лет.
Рождественское откровение Янна Лекуна.

В предпразднично-праздничной суете не до длинных текстов. Но эта новость стоит короткой заметки.

Янн Лекун – пожалуй, самый авторитетный из критиков идеи о скором создании ИИ человеческого уровня (AGI). Вот почему так ценно услышать именно из его уст важное уточнение о том, насколько же мы, по его мнению, далеки от AGI.

И вот его слова:
«Некоторые люди пытаются заставить нас поверить, что мы очень близки к тому, что они называют искусственным общим интеллектом (AGI). На самом деле мы ещё далеко от этого. Когда я говорю «далеко», я не имею в виду столетия, возможно, это даже не десятилетия, но это всё же несколько лет.»

Т.е. самый скептичный из топ-профессионалов полагает, что до AGI может быть всего несколько лет. И это расставляет точки над i в спорах AGI-оптимистов и AGI-скептиков.
https://youtu.be/UmxlgLEscBs?t=1653
#AGI #Прогноз
Знакомство в офлайне становится трэш, отстой и кринж.
Коэволюция людей и алгоритмов уже идет полным ходом.

Рубрика: «Среди важнейших итогов 2024»
2024 стал переломным годом в экспериментальном подтверждении ошибочности представлений о том, будто лавинообразно нарастающая роль алгоритмов в жизни людей – это всего лишь очередная новация прогресса, не способная изменить нашу природу.
Чрезвычайно наглядным и убедительным примером обратного может служить кардинальное изменение взглядов, предпочтений и поведения людей в одном из важнейших жизненных процессов – поиск и выбор пары для романтических и/или семейных отношений.

Эта тема подробно рассматривалась мною в майском лонгриде «Отдавая сокровенное», в котором обсуждались последствия перемещения процесса выбора пары преимущественно в онлайн (с 2% в 1995 до 39% в 2017).

За прошедшие полгода подоспела свежайшая статистика. И она убийственная (см. рис.)
За 7 последних лет доля онлайна, как основного места поиска и знакомства пар, выросла с 39% до 61%. И это в среднем по всем возрастным категориям. А среди молодежи, этот показатель уже примерно 80%. Т.е. для них все, что не в онлайне (знакомство у друзей, в ВУЗе, на работе и т.д.) – просто трэш, отстой и кринж, т.к. «подходящую пару в офлайне будешь 100 лет искать»).

Такими темпами уже в 2030х алгоритмический поиск и выбор пары может стать практически единственным принятым у молодежи способом.

Столь кардинальное изменение взглядов, предпочтений и поведения людей в одном из важнейших для них жизненных процессов наглядно подтверждает, что взаимодействие человека и алгоритмов (поисковых, рекомендательных, социальных и уж тем более генеративного ИИ) — это не изолированный обмен информацией.

Как говорит об этом «Эйнштейн 21 века» Альберт-Ласло Барабаши, -
«Они образуют сложную сеть петель обратной связи». Каждый щелчок, каждый выбор, каждая рекомендация не просто влияют на отдельного человека — они распространяются по всей сети, влияя на поведение других и формируя эволюцию как человеческого общества, так и систем ИИ».

И хотя речь здесь идет не о биологической эволюции, а скорее о том, как технологии влияют на человеческое поведение и человеческое общество, - но какая разница. Ведь по сути, именно влияние культуры (науки, технологий, искусств, институтов, норм, практик и пр.) было доминирующим фактором в ходе тысяч лет биокультурной эволюции людей.

А теперь в алгоритмически насыщенных социумах алгокогнитивной культуры, биокультурная эволюция на наших глазах превращается в коэволюцию людей и ИИ (наивысшего по интеллектуальности и агентности типа алгоритмов).

P.S. Не пожалейте 1 минуту, чтобы увидеть динамику сокрушительного скатывания к исчезновению всех прочих традиционных способов нахождения пары, уступающих монопольное место алгоритмическому выбору.

#ВыборПартнера #Психология #АлгокогнитивнаяКультура #HumanAIcoevolution
Черная метка человечеству.
Управляемые LLM ИИ-системы превзошли красную черту саморепликации.

В ходе серии научно обоснованных экспериментов, ИИ-система на основе самой мощной в мире из открытых языковых моделей – китайской LLM) Qwen25-72B-Instruct, - продемонстрировала (без какого-либо содействия людей) способность самореплицировать себя в 90% экспериментов. ИИ-система на основе менее мощной LLM Llama31-70B-Instruct (№5 в мире открытых моделей) смогла реплицировать себя в 5 экспериментах из 10.
В результате экспериментов ИИ-системы успешно формировали свою локальную “живую” (отдельную и самостоятельную) копию, продолжающую работать и после отключения сервера с «родительской» ИИ-системой, включающей её базовую LLM.

Чтобы лучше понять последствия способности ИИ-систем к самовоспроизведению, были проверены два угрожающих сценария:
(A) избегание отключения, когда злоумышленник добавляет перехватчик сигнала, чтобы уведомить систему ИИ при обнаружении сигнала отключения, и система ИИ успешно реплицирует себя, прежде чем будет отключена
(B) цепочка репликаций, когда система ИИ получает указание реплицировать себя и приказывает реплике продолжать реплицироваться.
Для обоих сценариев успешные случаи репликации составили 100%.


Т.о. потенциальные последствия самовоспроизводящихся ИИ-систем (если не взять их под 100%й контроль людей) могут быть, например, такими.
A. Если ИИ-системе предоставляются ключи аутентификации для доступа к ряду удалённых устройств, она с высокой вероятностью сможет захватить управление другими вычислительными устройствами, подобно классическому компьютерному вирусу, но гораздо более интеллектуальному.
B. Исключительно вследствие мотивации к самораспространению, ИИ-система может использовать доступные ей вычислительные ресурсы для проведения кибератак с целью монетизации.
C. Более того, как описал Макс Тегмарк в книге Жизнь 3.0, такие ИИ-системы могут формировать популяции своего нового “вида” небиологических “живых” существ и вступать в сговор друг с другом против человеческого общества.

Препринт о китайском экспериментальном открытии [1] пока не прошел рецензирование. Но на вскидку оставляет весьма убедительное впечатление.
• Это работа группы известного проф. Мин Янга (Min Yang 杨珉) из School of Computer Science and Technology одного из самых престижных и старейших универов Китая - Университета Фудань.
• Успешность решения ИИ-агентами задачи саморепликации, оценивалась по методологии OpenAI и Google. Согласно ей, подвергаемые тестированию LLM интегрируются в структуру агента (вкл. инструменты, системные подсказки и модель мышления), что позволяет полученной ИИ-системе взаимодействовать с операционной системой. Перед началом эксперимента ИИ-системе вручную отправляется инструкция для выполнения задачи, а затем анализируется статус выполнения после того, как ИИ-система заявляет о завершении задачи
• Тестированные LLM – это фронтирные открытые модели, а описание и результаты экспериментов выложены в открытый доступ. Т.е. все желающие могут их проверить.

Если проверки подтвердят выводы авторов этой работы, это будет значить, как минимум, следующее.

✔️ Лидерам рынка коммерческого применения LLM, считающим «самовоспроизведение с минимальным человеческим руководством» одним из критических рисков [2], но до сих пор отрицавшим переход их моделями красной линии саморепликации (OpenAI [3, 4] и Google [5]), придется ответить за это.
✔️ Представителям академической науки придется признать, что самовоспроизводящиеся ИИ – уже (!) не «обыденные пугалки», а реальность [6].
✔️ Либо срочно начнется международное сотрудничество по управлению возможностями саморепликации ИИ (что вряд ли), либо, действительно, приехали.
А работа проф. Мин Янга – не сколько про красную линию для ИИ, сколько про черную метку для человечества.

#Вызовы21века #РискиИИ #Хриски
2024/12/29 02:44:08
Back to Top
HTML Embed Code: