Эффект Матфея

На прошедшей недавно конференции LIS-Bibliometrics Conference Stephen Pinfield рассказал про вышедшее в этом году исследование “AI-assisted peer review”, посвященное возможности использования искусственного интеллекта в рецензировании публикаций. Авторы статьи при этом не предлагали заменить живых людей на “бездушный алгоритм”, а скорее помочь рецензентам в их работе, облегчив процесс принятие решения. Их так же интересовало, насколько AI может точно аппроксимировать итоговое решение о принятии или отвержении статьи.

В исследовании были использованы данные IEEE wireless communications and networking conference (WCNC) и данные openreview.net. Итоговый датасет для обучения нейронной сети включал текст публикации, решение редактора и оценки рецензентов (числовые значения).

Несмотря на то, что тексты оценивались по таким характеристикам как читаемость текста и качество форматирования, система во многих случаях успешно предсказывала результат рецензирования. Возможно, что данные характеристики в действительности коррелируют с качеством публикаций. Однако, может быть, что они создают первое впечатление от прочтения публикации и ложную ассоциацию с качеством работы (first-impression bias).

В этом случае, если вы хотите уменьшить вероятность отказа для вашей статьи, все же следует ее перечитать и исправить опечатки. В свою очередь, авторы статьи говорят о потенциальном создании программы, которая бы сообщала пользователям, что следует переработать текст перед отправкой на рецензирование.

Nature

AI-assisted peer review

Humanities and Social Sciences Communications - AI-assisted peer review

www.group-telegram.com/sa/ciase_eu.com/28

1.6K viewskaterina, May 20, 2021 at 13:01

На прошедшей недавно конференции LIS-Bibliometrics Conference Stephen Pinfield рассказал про вышедшее в этом году исследование “AI-assisted peer review”, посвященное возможности использования искусственного интеллекта в рецензировании публикаций. Авторы статьи при этом не предлагали заменить живых людей на “бездушный алгоритм”, а скорее помочь рецензентам в их работе, облегчив процесс принятие решения. Их так же интересовало, насколько AI может точно аппроксимировать итоговое решение о принятии или отвержении статьи.

В исследовании были использованы данные IEEE wireless communications and networking conference (WCNC) и данные openreview.net. Итоговый датасет для обучения нейронной сети включал текст публикации, решение редактора и оценки рецензентов (числовые значения).

Несмотря на то, что тексты оценивались по таким характеристикам как читаемость текста и качество форматирования, система во многих случаях успешно предсказывала результат рецензирования. Возможно, что данные характеристики в действительности коррелируют с качеством публикаций. Однако, может быть, что они создают первое впечатление от прочтения публикации и ложную ассоциацию с качеством работы (first-impression bias).

В этом случае, если вы хотите уменьшить вероятность отказа для вашей статьи, все же следует ее перечитать и исправить опечатки. В свою очередь, авторы статьи говорят о потенциальном создании программы, которая бы сообщала пользователям, что следует переработать текст перед отправкой на рецензирование.

BY Эффект Матфея