Kali Novskaya

#nlp #про_nlp #nlp_papers
🌸ИИ и скорость научного прогресса: скандал в ACL 🌸

Что произошло:
Emily Bender, лингвист и вице-президент ACL (Association for Computational Linguistics, самой главной академической организацией в NLP, которая организует все топовые конференции в области) атаковала Arxiv как источник быстрых и малокачественных публикаций.
Атаковала — это я разбавляю краски, на самом деле Эмили написала, что Arxiv — это рак, и что он поощряет современную культуру "все статьи старше 6 месяцев уже устарели". (собственно, шедевр на скрине).

Если вам немного странно видеть такие резкие слова от человека в несопоставимо высокой академической позиции, то это еще не все — в следующем году Эмили Бендер станет президентом ACL! Сейчас она вице-президент. Да, в международных научных организациях тоже есть выборы, как видите, конец немного предсказуем.
Но для контекста — именно Бендер осенью 2022 внесла существенный вклад в травлю языковой модели GALACTICA, из-за чего Meta пришлось убрать демо модели и долго объяснять, почему опенсорс — это хорошо, а вероятностные модели языка никого не обижают.

🌸Общие аргументы про то, что ACL как организатор всех A*/A конференций и двигатель процедур двойного слепого рецензирования статей теряет теряет свою полезность для сообщества:
🟣 рецензирование длится до 6 месяцев, за то время действительно много статей устаревает.
🟣 все время, пока длится рецензирование, и за 1 месяц до подачи, статью нельзя публиковать, показывать миру, чтобы соблюсти анонимность
🟣 через эту процедуру проходят десятки тысяч статей в год, и найти столько рецензентов трудно: в результате рецензированием часто занимаются очень перегруженные и так специалисты, либо люди, один раз опубликовавшие статью в бородатом году. Качество выходит соответствующее
🟣чаще всего (85+%) результат рецензирования — это отказ в публикации + исправления. Для подачи на новую конференцию процедуру нужно начинать заново. Подавать одну и ту же статью параллельно на несколько конференций обычно запрещено
🟣 пару лет назад, для ускорения процедуры рецензирования ввели новый механизм, ACL Rolling review — наследование рецензий между конференциями, чтобы лучше отслеживать цикл исправления одной статьи и ускорить публикацию. Это все равно не работает, так как рецензирование занимает 3+ месяца, тогда как альтернатива — просто выложить статью в открытый доступ на Arxiv или OpenReview сразу.

Эти объективные проблемы никто решать не собирается, зато очень удачно можно сказать, что Arxiv — это рак, ведь так никакого рецензирования нет вообще, только модератор просматривает качество на глазок. Ну а в ситуации, когда в целом за открытость публикаций все время приходится бороться все больше, так как исследования закрываются, детали не публикуются, код тоже, такой нарратив вообще как мед звучит.

Пост Эмили после скандала:
Наука должна быть
— открытой
— инклюзивной
— медленной

🌸Со всеми этими пунктами у меня вопросы:
1) замыкать процедуру двойного слепого рецензирования на пул ревьюеров в ACL — противоречит открытости;
2) война с такими площадками как Arxiv, OpenReview, противоречит инклюзивности;
3) медленной в ближайшие годы наука, конечно же, не станет, так как крупные индустриальные компании и так уже финансируют весь компьют для академии, а гонка результатов скорее приводит к тому, что те же OpenAI уже не посылают статьи на конференции и даже не публикуют на Arxiv, так как там тоже есть валидация и стандарты, а сразу выкладывают pdf у себя на сайте — и их все равно все цитируют.

Желание защитить методологически выверенную науку не должно приводить к тому, что место для науки в целом просто вытесняется корпоративными интересами.
Обсудим?

Please open Telegram to view this post

VIEW IN TELEGRAM

Medium

ACL VP Elect — candidate statement

I am honored to have been nominated to run for VP Elect of the Association for Computational Linguistics. This is a four year term with…

www.group-telegram.com/ua/rybolos_channel.com/870

6.4K viewsTatiana Shavrina, edited  Sep 8, 2023 at 11:36

#nlp #про_nlp #nlp_papers
🌸ИИ и скорость научного прогресса: скандал в ACL 🌸

Что произошло:
Emily Bender, лингвист и вице-президент ACL (Association for Computational Linguistics, самой главной академической организацией в NLP, которая организует все топовые конференции в области) атаковала Arxiv как источник быстрых и малокачественных публикаций.
Атаковала — это я разбавляю краски, на самом деле Эмили написала, что Arxiv — это рак, и что он поощряет современную культуру "все статьи старше 6 месяцев уже устарели". (собственно, шедевр на скрине).

Если вам немного странно видеть такие резкие слова от человека в несопоставимо высокой академической позиции, то это еще не все — в следующем году Эмили Бендер станет президентом ACL! Сейчас она вице-президент. Да, в международных научных организациях тоже есть выборы, как видите, конец немного предсказуем.
Но для контекста — именно Бендер осенью 2022 внесла существенный вклад в травлю языковой модели GALACTICA, из-за чего Meta пришлось убрать демо модели и долго объяснять, почему опенсорс — это хорошо, а вероятностные модели языка никого не обижают.

🌸Общие аргументы про то, что ACL как организатор всех A*/A конференций и двигатель процедур двойного слепого рецензирования статей теряет теряет свою полезность для сообщества:
🟣 рецензирование длится до 6 месяцев, за то время действительно много статей устаревает.
🟣 все время, пока длится рецензирование, и за 1 месяц до подачи, статью нельзя публиковать, показывать миру, чтобы соблюсти анонимность
🟣 через эту процедуру проходят десятки тысяч статей в год, и найти столько рецензентов трудно: в результате рецензированием часто занимаются очень перегруженные и так специалисты, либо люди, один раз опубликовавшие статью в бородатом году. Качество выходит соответствующее
🟣чаще всего (85+%) результат рецензирования — это отказ в публикации + исправления. Для подачи на новую конференцию процедуру нужно начинать заново. Подавать одну и ту же статью параллельно на несколько конференций обычно запрещено
🟣 пару лет назад, для ускорения процедуры рецензирования ввели новый механизм, ACL Rolling review — наследование рецензий между конференциями, чтобы лучше отслеживать цикл исправления одной статьи и ускорить публикацию. Это все равно не работает, так как рецензирование занимает 3+ месяца, тогда как альтернатива — просто выложить статью в открытый доступ на Arxiv или OpenReview сразу.

Эти объективные проблемы никто решать не собирается, зато очень удачно можно сказать, что Arxiv — это рак, ведь так никакого рецензирования нет вообще, только модератор просматривает качество на глазок. Ну а в ситуации, когда в целом за открытость публикаций все время приходится бороться все больше, так как исследования закрываются, детали не публикуются, код тоже, такой нарратив вообще как мед звучит.

Пост Эмили после скандала:
Наука должна быть
— открытой
— инклюзивной
— медленной

🌸Со всеми этими пунктами у меня вопросы:
1) замыкать процедуру двойного слепого рецензирования на пул ревьюеров в ACL — противоречит открытости;
2) война с такими площадками как Arxiv, OpenReview, противоречит инклюзивности;
3) медленной в ближайшие годы наука, конечно же, не станет, так как крупные индустриальные компании и так уже финансируют весь компьют для академии, а гонка результатов скорее приводит к тому, что те же OpenAI уже не посылают статьи на конференции и даже не публикуют на Arxiv, так как там тоже есть валидация и стандарты, а сразу выкладывают pdf у себя на сайте — и их все равно все цитируют.

Желание защитить методологически выверенную науку не должно приводить к тому, что место для науки в целом просто вытесняется корпоративными интересами.
Обсудим?