Эффект Матфея

Эффект Матфея возвращается!

С каждым годом появляется все больше и больше цифровых инструментов, способных упростить те или иные аспекты академической рутины. С энтузиазмом или опасением сейчас обсуждаются большие языковые модели, выложенные в открытый доступ. Самой известной из них является chatGPT, получившая в конце 2022 года интуитивный интерфейс и большое освещение в медиа.

Их распространение грозит как прозрачности науки (этому посвящена колонка в Nature), так и валидности публикуемого научного знания. Теперь, когда с момента «открытия» chatGPT для широкой публики прошло более года, стали появляться первые оценки распространенности его использования. Основная предпосылка такого рода оценок, – неожиданный рост частотности тех или иных слов или словосочетаний в текстах публикаций. Заметим, что есть и совсем комичные случаи проникновения инструментальных сообщений чатбота в тексты публикаций: сотни тысяч просмотров набрал твит Гийома Кабанака (Guillaume Cabanac) о статье, чья аннотация начинается фразой “Certainly! Here is a possible introduction for your topic <…>”.

На рисунке ниже показано несколько примеров слов/словосочетаний, ставших значительно чаще появляться в научных текстах на openalex в 2023 году (первый полный год после публичного релиза chatGPT). Неожиданный рост частотности слова “delve” (“копаться”, “углубляться”) ранее был показан в твите Филипа Шапиры (Philip Shapira), другие примеры взяты из обсуждений на reddit (раз, два), в которых пользователи делились своим опытом работы с чатботом.

Эта грубая идея получила более серьезное развитие в препринте Эндрю Грэя (Andrew Gray). Используя данные Dimensions и опробированный ранее словарь лексики, характерной для ответов чатбота, он оценил распространенность применения AI в академических текстах 2023 года в 1% (~60000 публикаций). Если вы пользуетесь чатботом, например, для proofreading, советуем хорошо запомнить слова, которые «выдают» применение AI. Среди них особенно часто встречаются: “commendable“, “meticulous“ и “intricate“.

Мы думаем, что очень скоро способ идентификации AI по росту частотности тех или иных слов или в научных текстах перестанет так хорошо работать. Авторы могут попросить языкового помощника переформулировать сгенерированный текст или вручную удалять характерные для него слова. Автор также может дообучить модель на корпусе собственных текстов, чтобы сделать написанные помощником фрагменты неотличмыми от собственных. Идентификация нечеловеческих следов в публикациях, таким образом, все еще будет требовать тщательного изучения отдельных случаев (а их база собирается, например, на Retraction Watch, куда также можно прислать подозрительные публикации).

Кажется, что тема использования языковых помощников в академических текстах с нами надолго.

www.group-telegram.com/sa/ciase_eu.com/60

1.2K viewskaterina, Apr 12 at 14:55

Эффект Матфея возвращается!

С каждым годом появляется все больше и больше цифровых инструментов, способных упростить те или иные аспекты академической рутины. С энтузиазмом или опасением сейчас обсуждаются большие языковые модели, выложенные в открытый доступ. Самой известной из них является chatGPT, получившая в конце 2022 года интуитивный интерфейс и большое освещение в медиа.

Их распространение грозит как прозрачности науки (этому посвящена колонка в Nature), так и валидности публикуемого научного знания. Теперь, когда с момента «открытия» chatGPT для широкой публики прошло более года, стали появляться первые оценки распространенности его использования. Основная предпосылка такого рода оценок, – неожиданный рост частотности тех или иных слов или словосочетаний в текстах публикаций. Заметим, что есть и совсем комичные случаи проникновения инструментальных сообщений чатбота в тексты публикаций: сотни тысяч просмотров набрал твит Гийома Кабанака (Guillaume Cabanac) о статье, чья аннотация начинается фразой “Certainly! Here is a possible introduction for your topic <…>”.

На рисунке ниже показано несколько примеров слов/словосочетаний, ставших значительно чаще появляться в научных текстах на openalex в 2023 году (первый полный год после публичного релиза chatGPT). Неожиданный рост частотности слова “delve” (“копаться”, “углубляться”) ранее был показан в твите Филипа Шапиры (Philip Shapira), другие примеры взяты из обсуждений на reddit (раз, два), в которых пользователи делились своим опытом работы с чатботом.

Эта грубая идея получила более серьезное развитие в препринте Эндрю Грэя (Andrew Gray). Используя данные Dimensions и опробированный ранее словарь лексики, характерной для ответов чатбота, он оценил распространенность применения AI в академических текстах 2023 года в 1% (~60000 публикаций). Если вы пользуетесь чатботом, например, для proofreading, советуем хорошо запомнить слова, которые «выдают» применение AI. Среди них особенно часто встречаются: “commendable“, “meticulous“ и “intricate“.

Мы думаем, что очень скоро способ идентификации AI по росту частотности тех или иных слов или в научных текстах перестанет так хорошо работать. Авторы могут попросить языкового помощника переформулировать сгенерированный текст или вручную удалять характерные для него слова. Автор также может дообучить модель на корпусе собственных текстов, чтобы сделать написанные помощником фрагменты неотличмыми от собственных. Идентификация нечеловеческих следов в публикациях, таким образом, все еще будет требовать тщательного изучения отдельных случаев (а их база собирается, например, на Retraction Watch, куда также можно прислать подозрительные публикации).

Кажется, что тема использования языковых помощников в академических текстах с нами надолго.

BY Эффект Матфея