group-telegram.com/rybolos_channel/1215
Last Update:
🌸AI Scientist, или рецензенты NeurIPS ненавидят этот простой трюк 🌸
#nlp #про_nlp #nlp_papers
TL;DR группа учёных из Оксфорда и Sakana.ai создала фреймворк, генерирующий очень реалистичные научные статьи в формате популярных конференций.
За несколько попыток можно сгенерировать квазинаучную статью, вместе с анализом литературы, оценкой научной новизны и кодом для экспериментов. Для всех этапов используются API популярных моделей и сторонние API.
🌸Как это работает
Авторы разложили этапы подготовки статьи на следующие этапы: генерация идеи > генерация плана > оценка научной новизны > ранжирование идеи с т зр публикабельности > шаблоны для экспериментов > генерация кода для экспериментов > исполнение кода экспериментов > несколько итераций с экспериментами > построение графиков > составение текста статьи по результатам экспериментов > автоматическое рецензирование.
В результате всех итераций, стоимость одной "научной статьи" выходит в среднем в районе 15 долл.
🌸Почему это важно?
Статья достаточно сильно хайпанула в Твиттере, в целом получила много внимания. Однако, нельзя не отметить, что это по сути первый раз, когда фейковые научные публикации предлагают представить как что-то позитивное. Сама задача работы — оптимизация создания пдфок, принимаемых на конференции — выглядит крайне спорно. Вспомним кейсы вроде "Корчевателя" (кейс далекого 2005го, легендарный старт карьеры борца с плагиатом Михаила Гельфанда), или историю вокруг модели GALACTICA -- тогда от релиза опенсорсной модели на научных публикациях вой поднялся такой, что демо пришлось закрыть, а консенсус был таков, что наука отныне будет замусорена ИИ-текстами навсегда.
Фреймворк по сути доводит идею Корчевателя до степени неразличимости с реальными публикациями. Но есть ли от этого польза?
