какая-то библиотека

Автоматизация научных обзоров с помощью больших языковых моделей: систематический обзор

Большие языковые модели (LLM) недавно стали одним из самых мощных инструментов обработки естественного языка (NLP) для решения различных задач. В этом систематическом обзоре мы стремились оценить естественное расширение использования LLM для управления и направления процесса обзора.

Методы

Исследование проводилось в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar. В обзор были включены только англоязычные публикации, посвященные использованию LLM для автоматизации различных этапов систематического обзора.

Скрининг и извлечение данных проводились в Covidence с помощью разработанного командой плагина LLM для Covidence. Этот плагин использует модель OpenAI gpt-4o и автоматизирует действия в Covidence, такие как нажатие кнопок «Включить/Исключить» или оставление заметок.

Результаты

В общей сложности было найдено 3788 статей, из которых 172 были признаны подходящими для окончательного обзора. ChatGPT и LLM на основе GPT стали наиболее распространенной архитектурой для автоматизации обзора (n=126, 73,2%). Значительное количество проектов по автоматизации обзора было найдено, но лишь ограниченное число статей (n=26, 15,1%) представляли собой фактические обзоры, в которых LLM использовались при их создании.

Большинство статей были сосредоточены на автоматизации определенного этапа обзора, например, на поиске публикаций (n=60, 34,9%) и извлечении данных (n=54, 31,4%). При сравнении совокупной производительности моделей на основе GPT и BERT первые показали лучшие результаты в извлечении данных со средней точностью 83,0% (SD=10,4) и полнотой 86,0% (SD=9,8), в то время как вторые были немного менее точными на этапе скрининга заголовков и рефератов (Maccuracy=77,3%, SD=13,0 против Maccuracy=80,9% SD=11,8).

Примеры использования LLM

- Поиск публикаций: LLM могут использоваться для автоматического поиска релевантных публикаций в базах данных, таких как PubMed, Scopus и Web of Science.

- Скрининг заголовков и рефератов: LLM могут использоваться для автоматического скрининга заголовков и рефератов на предмет релевантности, что позволяет рецензентам сосредоточиться на полнотекстовом скрининге.

- Извлечение данных: LLM могут использоваться для автоматического извлечения данных из полнотекстовых статей, таких как характеристики участников, вмешательства и результаты.

- Синтез данных: LLM могут использоваться для автоматического синтеза данных из нескольких статей, что позволяет рецензентам получить более полное представление о состоянии исследований.

Ограничения

- Точность: Хотя LLM достигли значительных успехов в точности, они все еще могут допускать ошибки, особенно при извлечении данных из сложных или неоднозначных текстов.

- Предвзятость: LLM могут быть подвержены предвзятости, основанной на данных, на которых они были обучены.

- Этика: Использование LLM в автоматизации обзора поднимает этические вопросы, такие как прозрачность, подотчетность и потенциальное смещение.

arXiv.org

The emergence of Large Language Models (LLM) as a tool in...

Objective: This study aims to summarize the usage of Large Language Models (LLMs) in the process of creating a scientific review. We look at the range of stages in a review that can be automated...

www.group-telegram.com/us/selfmadeLibrary.com/722

1.3K viewsOct 4, 2024 at 12:16

Автоматизация научных обзоров с помощью больших языковых моделей: систематический обзор

Большие языковые модели (LLM) недавно стали одним из самых мощных инструментов обработки естественного языка (NLP) для решения различных задач. В этом систематическом обзоре мы стремились оценить естественное расширение использования LLM для управления и направления процесса обзора.

Методы

Исследование проводилось в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar. В обзор были включены только англоязычные публикации, посвященные использованию LLM для автоматизации различных этапов систематического обзора.

Скрининг и извлечение данных проводились в Covidence с помощью разработанного командой плагина LLM для Covidence. Этот плагин использует модель OpenAI gpt-4o и автоматизирует действия в Covidence, такие как нажатие кнопок «Включить/Исключить» или оставление заметок.

Результаты

В общей сложности было найдено 3788 статей, из которых 172 были признаны подходящими для окончательного обзора. ChatGPT и LLM на основе GPT стали наиболее распространенной архитектурой для автоматизации обзора (n=126, 73,2%). Значительное количество проектов по автоматизации обзора было найдено, но лишь ограниченное число статей (n=26, 15,1%) представляли собой фактические обзоры, в которых LLM использовались при их создании.

Большинство статей были сосредоточены на автоматизации определенного этапа обзора, например, на поиске публикаций (n=60, 34,9%) и извлечении данных (n=54, 31,4%). При сравнении совокупной производительности моделей на основе GPT и BERT первые показали лучшие результаты в извлечении данных со средней точностью 83,0% (SD=10,4) и полнотой 86,0% (SD=9,8), в то время как вторые были немного менее точными на этапе скрининга заголовков и рефератов (Maccuracy=77,3%, SD=13,0 против Maccuracy=80,9% SD=11,8).

Примеры использования LLM

- Поиск публикаций: LLM могут использоваться для автоматического поиска релевантных публикаций в базах данных, таких как PubMed, Scopus и Web of Science.

- Скрининг заголовков и рефератов: LLM могут использоваться для автоматического скрининга заголовков и рефератов на предмет релевантности, что позволяет рецензентам сосредоточиться на полнотекстовом скрининге.

- Извлечение данных: LLM могут использоваться для автоматического извлечения данных из полнотекстовых статей, таких как характеристики участников, вмешательства и результаты.

- Синтез данных: LLM могут использоваться для автоматического синтеза данных из нескольких статей, что позволяет рецензентам получить более полное представление о состоянии исследований.

Ограничения

- Точность: Хотя LLM достигли значительных успехов в точности, они все еще могут допускать ошибки, особенно при извлечении данных из сложных или неоднозначных текстов.

- Предвзятость: LLM могут быть подвержены предвзятости, основанной на данных, на которых они были обучены.

- Этика: Использование LLM в автоматизации обзора поднимает этические вопросы, такие как прозрачность, подотчетность и потенциальное смещение.

BY какая-то библиотека