Цифровой геноцид

Некоторое возрождение знаниевых графов

https://infranodus.com/
InfraNodus представляет любой текст как сеть. Если использовать метафору из социальных наук: слова — это узлы, их совпадения — это связи. На основе этого представления мы можем обнаружить группы слов, которые принадлежат друг другу, выявить наиболее влиятельные элементы, выявить пробелы в дискурсе. Затем мы применяем различные алгоритмы на основе искусственного интеллекта, чтобы получить представление о любом дискурсе.

Метод основан на алгоритме анализа текстовой сети, который представляет любой текст как сеть и определяет наиболее влиятельные слова в дискурсе на основе совпадения терминов. Затем применяется алгоритм обнаружения "сообществ" графов для идентификации различных тематических кластеров, которые представляют основные темы в тексте, а также отношения между ними.

Текст преобразуется в направленный сетевой граф. Нормализованные слова (леммы) — это узлы сетевого графа, а их совпадения — это ребра. Выполняются два последовательных сканирования. Первое сканирование создает связи (ребра графа) между леммами (узлами), которые появляются рядом друг с другом (биграммами) со значением веса ребра, равным 3. Второе сканирование использует окно из 4 лемм (4 грамма), чтобы добавить второй уровень связей. Связи между леммами, которые разделены всего лишь одним словом, получают значение веса ребра 2, а леммы, разделенные двумя словами, получают значение веса ребра 1: [обсудить [обсудить → (вес: 3) → разрешение] , [обсудить → (вес: 2) → место], → (вес: 1) → вещь], [разрешение → (вес: 3) → место], [разрешение → (вес: 2) → вещь], [разрешение → (вес: 1) → хочу] и т. д. Эти связи кодируются как ребра на ориентированном текстовом графе и им присваивается правильный вес во время анализа и визуализации. При желании можно сделать связи между абзацами, где последнее слово предыдущего абзаца ссылается на первое слово следующего со значением веса ребра, равным 1. Все связи уникальны и сохраняются, даже если они появлялись ранее в текст.

Позже, в целях визуализации графа и обнаружения сообществ, веса параллельных ребер суммируются.

Вот бы еще попробовать, а не по ютубу смотреть :)

Infranodus

InfraNodus: AI Text Analysis & Insight Tool for Research and Exploration

Use AI and knowledge graphs to get insight from any text and to detect blind spots in ideas.

www.group-telegram.com/ca/gulagdigital.com/2706

1.3K viewsedited  Jul 12, 2024 at 15:31

Некоторое возрождение знаниевых графов

https://infranodus.com/
InfraNodus представляет любой текст как сеть. Если использовать метафору из социальных наук: слова — это узлы, их совпадения — это связи. На основе этого представления мы можем обнаружить группы слов, которые принадлежат друг другу, выявить наиболее влиятельные элементы, выявить пробелы в дискурсе. Затем мы применяем различные алгоритмы на основе искусственного интеллекта, чтобы получить представление о любом дискурсе.

Метод основан на алгоритме анализа текстовой сети, который представляет любой текст как сеть и определяет наиболее влиятельные слова в дискурсе на основе совпадения терминов. Затем применяется алгоритм обнаружения "сообществ" графов для идентификации различных тематических кластеров, которые представляют основные темы в тексте, а также отношения между ними.

Текст преобразуется в направленный сетевой граф. Нормализованные слова (леммы) — это узлы сетевого графа, а их совпадения — это ребра. Выполняются два последовательных сканирования. Первое сканирование создает связи (ребра графа) между леммами (узлами), которые появляются рядом друг с другом (биграммами) со значением веса ребра, равным 3. Второе сканирование использует окно из 4 лемм (4 грамма), чтобы добавить второй уровень связей. Связи между леммами, которые разделены всего лишь одним словом, получают значение веса ребра 2, а леммы, разделенные двумя словами, получают значение веса ребра 1: [обсудить [обсудить → (вес: 3) → разрешение] , [обсудить → (вес: 2) → место], → (вес: 1) → вещь], [разрешение → (вес: 3) → место], [разрешение → (вес: 2) → вещь], [разрешение → (вес: 1) → хочу] и т. д. Эти связи кодируются как ребра на ориентированном текстовом графе и им присваивается правильный вес во время анализа и визуализации. При желании можно сделать связи между абзацами, где последнее слово предыдущего абзаца ссылается на первое слово следующего со значением веса ребра, равным 1. Все связи уникальны и сохраняются, даже если они появлялись ранее в текст.

Позже, в целях визуализации графа и обнаружения сообществ, веса параллельных ребер суммируются.

Вот бы еще попробовать, а не по ютубу смотреть :)

BY Цифровой геноцид