Малоизвестное интересное

Что оказалось за дверью в бездну черного ящика ИИ.
Новые откровения сверхважного прорыва в понимании механизмов разума машин и людей.
Как я писал в мае, «внутри черного ящика оказалась дверь в бездну». Речь шла о 1й успешной попытке компании Anthropic вскрыть черный ящик генеративного ИИ больших языковых моделей. Это был реально сверхважный прорыв, без которого все разговоры о том, что скрывается внутри внечеловеческого разума моделей, оставались чистыми спекуляциями.

Колоссальным откровением той работы было то, что за дверью черного ящика одной из самых больших на тот момент моделей семейства Claude оказался не ожидаемый многими «стохастический попугай», а таящийся там куда боле мощный ИИ. Его основу, как предположили исследователи, составляет мультимодальная гиперсеть моносемантических «субнейронов», образующих в гиперсети нечто похожее на коги (в теории когнитома Константина Анохина так называются элементарные единицы опыта, кодирующие соотношение целого организма с теми или иными аспектами мира).

Тогда же исследователям удалось на практике показать сильную уязвимость внечеловеческого (а возможно, и человеческого) разума. Когда воздействие всего на один такой «ког» вело к изменению матрицы «личности» модели. Например, усиление роли функции «Мост Золотые Ворота» вызвало у Клода кризис идентичности, который даже Хичкок не мог себе представить.

Два новых исследования приоткрывают дверь в бездну черного ящика моделей пошире. И теперь за ней можно разглядеть кое-что из того:
• как устроена гиперсеть
• и что она в себе скрывает

1е исследование предлагает объяснение сверхэффективной кросс-модальной когнитивности, описанной мною в лонгриде «Слепые гении живописи». Исследование отвечает на поставленный мною в лонгриде вопрос: как эти модели, построенные на одном наборе параметров, умудряются обрабатывать и понимать такой разнообразный диапазон входных данных, от разных языков до кода, арифметики и даже изображений и звука?

В этой статье предлагается интригующий ответ: «гипотеза семантического хаба». Основная идея проста, но глубока. Вместо того чтобы полагаться на отдельные специализированные отсеки для каждого типа данных, LLM изучают общее пространство представления — «семантический хаб», — где семантически схожие концепции группируются вместе, независимо от их первоначальной формы.

Если 1е исследование предлагает гипотезу, частично объясняющую устройства гиперсети, то 2е исследует, что эта гиперсеть в себе скрывает.

Авторы показывают, что за дверью черного ящика LLM не просто скрыт куда больший интеллект, что проявляется в диалогах с ним. Оказывается, что этот интеллект «скрывает» от общающихся с ним людей целые букеты своих секретных способностей, которые нельзя выявить через примитивные (naive) запросы пользователей.

И чтобы как-то выявить эти скрытые способности, необходим сложный комплекс мер «допроса модели», раскрывающих её скрытую реальную "компетентность" (а не ту компетентность, что она демонстрирует в ответах на примитивные запросы «белковых мешков»).

#ГенИИ #LLMvsHomo #ИнойИнтеллект

www.group-telegram.com/us/theworldisnoteasy.com/2049

42.9K viewsedited  Nov 27 at 12:13

Что оказалось за дверью в бездну черного ящика ИИ.
Новые откровения сверхважного прорыва в понимании механизмов разума машин и людей.
Как я писал в мае, «внутри черного ящика оказалась дверь в бездну». Речь шла о 1й успешной попытке компании Anthropic вскрыть черный ящик генеративного ИИ больших языковых моделей. Это был реально сверхважный прорыв, без которого все разговоры о том, что скрывается внутри внечеловеческого разума моделей, оставались чистыми спекуляциями.

Колоссальным откровением той работы было то, что за дверью черного ящика одной из самых больших на тот момент моделей семейства Claude оказался не ожидаемый многими «стохастический попугай», а таящийся там куда боле мощный ИИ. Его основу, как предположили исследователи, составляет мультимодальная гиперсеть моносемантических «субнейронов», образующих в гиперсети нечто похожее на коги (в теории когнитома Константина Анохина так называются элементарные единицы опыта, кодирующие соотношение целого организма с теми или иными аспектами мира).

Тогда же исследователям удалось на практике показать сильную уязвимость внечеловеческого (а возможно, и человеческого) разума. Когда воздействие всего на один такой «ког» вело к изменению матрицы «личности» модели. Например, усиление роли функции «Мост Золотые Ворота» вызвало у Клода кризис идентичности, который даже Хичкок не мог себе представить.

Два новых исследования приоткрывают дверь в бездну черного ящика моделей пошире. И теперь за ней можно разглядеть кое-что из того:
• как устроена гиперсеть
• и что она в себе скрывает

1е исследование предлагает объяснение сверхэффективной кросс-модальной когнитивности, описанной мною в лонгриде «Слепые гении живописи». Исследование отвечает на поставленный мною в лонгриде вопрос: как эти модели, построенные на одном наборе параметров, умудряются обрабатывать и понимать такой разнообразный диапазон входных данных, от разных языков до кода, арифметики и даже изображений и звука?

В этой статье предлагается интригующий ответ: «гипотеза семантического хаба». Основная идея проста, но глубока. Вместо того чтобы полагаться на отдельные специализированные отсеки для каждого типа данных, LLM изучают общее пространство представления — «семантический хаб», — где семантически схожие концепции группируются вместе, независимо от их первоначальной формы.

Если 1е исследование предлагает гипотезу, частично объясняющую устройства гиперсети, то 2е исследует, что эта гиперсеть в себе скрывает.

Авторы показывают, что за дверью черного ящика LLM не просто скрыт куда больший интеллект, что проявляется в диалогах с ним. Оказывается, что этот интеллект «скрывает» от общающихся с ним людей целые букеты своих секретных способностей, которые нельзя выявить через примитивные (naive) запросы пользователей.

И чтобы как-то выявить эти скрытые способности, необходим сложный комплекс мер «допроса модели», раскрывающих её скрытую реальную "компетентность" (а не ту компетентность, что она демонстрирует в ответах на примитивные запросы «белковых мешков»).

#ГенИИ #LLMvsHomo #ИнойИнтеллект

BY Малоизвестное интересное