Холархия

Как нам обустроить русскую науку: часть первая

Есть пара мыслей на тему того, какие реформы хочется увидеть в качестве «ответки» действиям международных научных организаций после начала спецоперации. Как ни странно, мои идеи с самой спецоперацией, с импортозамещением и с авторским правом (простите, Александра) не связаны. Системные проблемы науки в целом очень глубоки — как в РФ, так и на Западе. Назревшая необходимость реформ даёт уникальный шанс поработать над этим хотя бы в рамках одной страны.

Подвижки в решении таких проблем дадут русской науке конкурентное преимущество перед недружественными странами даже в условиях санкций. Мировое научное сообщество не самоорганизовывается для эффективного решения назревших системных проблем. Этого не происходит, как мне кажется, в первую очередь из-за incentives, которые стоят перед учёными, желающими добиться успеха в науке. Было бы очень неплохо дать локальному, русскому научному сообществу другие incentives — более продуманные.

Да, я не говорю, что было бы неплохо импортозаместить технически отсуверенить журналы и наукометрические системы — это само собой разумеется и очевидно. Также я не говорю, что в журналах необходимо проводить адекватную редакционную политику, иначе журнал превратится в свалку работ всяких гаряевых и чудиновых — это тоже очевидно. Если вы хотите прочитать про это, то откройте другую статью. Тут же будут вещи немного менее обсуждаемые.

Ключевая системная проблема современной науки — воспроизводимость и повторяемость исследований. Широко известно, что до 85% исследований не воспроизводятся — конкретный процент зависит от области. Каждое из невоспроизводимых исследований — мощный удар по научной картине мира. Вот типичный плохой паттерн, повторяющийся постоянно, с разным ресёрчем и в разных областях:

1. Публикуется первое исследование, на малой выборке, с поверхностным анализом, но модными результатами, соответствующими текущим настроениям общества;

2. На базе этого результата формируются гайдлайны для клиник, политические и организационные решения, рекомендации и так далее;

3. Непредвзятые попытки воспроизведения с большей выборкой и более продуманным анализом внезапно проваливаются;

4. Про провал репликаций не знает никто, кроме малого количества специалистов;

5. Плохие рекомендации, организационные решения и гайдлайны остаются таковыми.

Наука крайне посредственно чистит себя от невоспроизводимых работ. Эта проблема тесно связана с другой — отсутствием презентации отрицательных результатов в публичном поле. Было бы очень неплохо, если бы русский учёный добивался успеха в науке только в том случае, если его исследование хорошо воспроизводилось. Независимо от того, был ли достигнут положительный или отрицательный результат.

Текущие incentives учёного описываются тремя словами: «publish or perish». Хотелось бы заменить это на «publish, regardless of outcome, novel research with clearly stated goals, thoroughly explained for anybody to reproduce, or publish a high-quality reproductions of existing research or, if you are unable to, finally perish».

Продолжение следует.

Железновоспроизводимый @biolapki — для Холархии.

Подписаться | Написать нам | Стать патроном

www.group-telegram.com/ye/holarhia.com/266

4.0K viewsJun 11, 2022 at 11:24

Как нам обустроить русскую науку: часть первая

Есть пара мыслей на тему того, какие реформы хочется увидеть в качестве «ответки» действиям международных научных организаций после начала спецоперации. Как ни странно, мои идеи с самой спецоперацией, с импортозамещением и с авторским правом (простите, Александра) не связаны. Системные проблемы науки в целом очень глубоки — как в РФ, так и на Западе. Назревшая необходимость реформ даёт уникальный шанс поработать над этим хотя бы в рамках одной страны.

Подвижки в решении таких проблем дадут русской науке конкурентное преимущество перед недружественными странами даже в условиях санкций. Мировое научное сообщество не самоорганизовывается для эффективного решения назревших системных проблем. Этого не происходит, как мне кажется, в первую очередь из-за incentives, которые стоят перед учёными, желающими добиться успеха в науке. Было бы очень неплохо дать локальному, русскому научному сообществу другие incentives — более продуманные.

Да, я не говорю, что было бы неплохо импортозаместить технически отсуверенить журналы и наукометрические системы — это само собой разумеется и очевидно. Также я не говорю, что в журналах необходимо проводить адекватную редакционную политику, иначе журнал превратится в свалку работ всяких гаряевых и чудиновых — это тоже очевидно. Если вы хотите прочитать про это, то откройте другую статью. Тут же будут вещи немного менее обсуждаемые.

Ключевая системная проблема современной науки — воспроизводимость и повторяемость исследований. Широко известно, что до 85% исследований не воспроизводятся — конкретный процент зависит от области. Каждое из невоспроизводимых исследований — мощный удар по научной картине мира. Вот типичный плохой паттерн, повторяющийся постоянно, с разным ресёрчем и в разных областях:

1. Публикуется первое исследование, на малой выборке, с поверхностным анализом, но модными результатами, соответствующими текущим настроениям общества;

2. На базе этого результата формируются гайдлайны для клиник, политические и организационные решения, рекомендации и так далее;

3. Непредвзятые попытки воспроизведения с большей выборкой и более продуманным анализом внезапно проваливаются;

4. Про провал репликаций не знает никто, кроме малого количества специалистов;

5. Плохие рекомендации, организационные решения и гайдлайны остаются таковыми.

Наука крайне посредственно чистит себя от невоспроизводимых работ. Эта проблема тесно связана с другой — отсутствием презентации отрицательных результатов в публичном поле. Было бы очень неплохо, если бы русский учёный добивался успеха в науке только в том случае, если его исследование хорошо воспроизводилось. Независимо от того, был ли достигнут положительный или отрицательный результат.

Текущие incentives учёного описываются тремя словами: «publish or perish». Хотелось бы заменить это на «publish, regardless of outcome, novel research with clearly stated goals, thoroughly explained for anybody to reproduce, or publish a high-quality reproductions of existing research or, if you are unable to, finally perish».

Продолжение следует.

Железновоспроизводимый @biolapki — для Холархии.

Подписаться | Написать нам | Стать патроном

BY Холархия