Цифровой геноцид

Паттерн «Нейрокартография»: масштабируемое визуальное обобщение концепций в глубоких нейронных сетях

https://fredhohman.com/papers/neurocartography

Существующие исследования по осмыслению глубоких нейронных сетей часто фокусируются на интерпретации на уровне нейронов, которая не может адекватно отразить более широкую картину того, как концепции коллективно кодируются несколькими нейронами. Исследователи представили NeuroCartography, интерактивную систему, которая масштабируемо суммирует и визуализирует концепции, полученные нейронными сетями - статья выиграла на SIGGRAPH — специальная группа Ассоциации вычислительной техники по вопросам компьютерной графики, среди авторов - один из победителей SIGHI прошлых лет, поэтому о нем и знаю. Решение автоматически обнаруживает и группирует нейроны, которые обнаруживают одни и те же концепции, и описывает, как такие группы нейронов взаимодействуют для формирования концепций более высокого уровня и последующих прогнозов. Нейрокартография представляет два масштабируемых метода суммирования: (1) кластеризация нейронов группирует нейроны на основе семантического сходства понятий, обнаруженных нейронами (например, группируются нейроны, распознающие «собачьи морды» разных пород); и (2) встраивание нейронов кодирует ассоциации между связанными понятиями в зависимости от того, как часто они встречаются одновременно (например, нейроны, распознающие «собачью морду» и «собачий хвост», располагаются ближе в пространстве встраивания).

Ключом к нашим масштабируемым методам является способность эффективно вычислять взаимоотношения всех пар нейронов во времени, линейном в зависимости от количества нейронов, а не квадратичном времени. Нейрокартография масштабируется для больших данных, таких как набор данных ImageNet с 1,2 млн изображений.
https://poloclub.github.io/neuro-cartography/

Демка очень крутая, но явно показывает сильно не все - просто так нельзя переключится на разные данные на общем представлении всех нейронов.

Возможно, что будет круто выглядеть даже в каком-то формате и для СМИ и публикаций

Систему тестировали на людях-аннотаторах рассказывая, что каждое задание содержит либо все случайные патчи, либо кластер из 3-5 связанных нейронов, и просили определить, какие из показанных патчей (если таковые имеются) образуют связный кластер и могли выбрать любое количество заданных вариантов.

Fredhohman

Fred Hohman

Fred Hohman is a Research Scientist at Apple creating interactive interfaces and data visualizations for machine learning.

www.group-telegram.com/ye/gulagdigital.com/2584

1.1K viewsedited  Apr 27, 2024 at 11:30

Паттерн «Нейрокартография»: масштабируемое визуальное обобщение концепций в глубоких нейронных сетях

https://fredhohman.com/papers/neurocartography

Существующие исследования по осмыслению глубоких нейронных сетей часто фокусируются на интерпретации на уровне нейронов, которая не может адекватно отразить более широкую картину того, как концепции коллективно кодируются несколькими нейронами. Исследователи представили NeuroCartography, интерактивную систему, которая масштабируемо суммирует и визуализирует концепции, полученные нейронными сетями - статья выиграла на SIGGRAPH — специальная группа Ассоциации вычислительной техники по вопросам компьютерной графики, среди авторов - один из победителей SIGHI прошлых лет, поэтому о нем и знаю. Решение автоматически обнаруживает и группирует нейроны, которые обнаруживают одни и те же концепции, и описывает, как такие группы нейронов взаимодействуют для формирования концепций более высокого уровня и последующих прогнозов. Нейрокартография представляет два масштабируемых метода суммирования: (1) кластеризация нейронов группирует нейроны на основе семантического сходства понятий, обнаруженных нейронами (например, группируются нейроны, распознающие «собачьи морды» разных пород); и (2) встраивание нейронов кодирует ассоциации между связанными понятиями в зависимости от того, как часто они встречаются одновременно (например, нейроны, распознающие «собачью морду» и «собачий хвост», располагаются ближе в пространстве встраивания).

Ключом к нашим масштабируемым методам является способность эффективно вычислять взаимоотношения всех пар нейронов во времени, линейном в зависимости от количества нейронов, а не квадратичном времени. Нейрокартография масштабируется для больших данных, таких как набор данных ImageNet с 1,2 млн изображений.
https://poloclub.github.io/neuro-cartography/

Демка очень крутая, но явно показывает сильно не все - просто так нельзя переключится на разные данные на общем представлении всех нейронов.

Возможно, что будет круто выглядеть даже в каком-то формате и для СМИ и публикаций

Систему тестировали на людях-аннотаторах рассказывая, что каждое задание содержит либо все случайные патчи, либо кластер из 3-5 связанных нейронов, и просили определить, какие из показанных патчей (если таковые имеются) образуют связный кластер и могли выбрать любое количество заданных вариантов.

BY Цифровой геноцид