Постпубликационное рецензирование: развитие научно-издательского процесса
https://doi.org/10.22394/2410-132X-2024-10-3-8-21
Аннотация
Долгое время считалось, что рецензирование лежит в основе академических журналов и научной коммуникации, обеспечивая высокое качество и достоверность публикуемых материалов. Однако в начале XXI в. всё больше учёных стали сомневаться в традиционной модели рецензирования, заявляя о её кризисе. Цель настоящего исследования – предложить новый взгляд на рецензирование для полной реализации функций научной коммуникации. В исследовании используются методы исторического анализа и моделирования с использованием нотации BPMN (Business Process Model and Notation), которая традиционно используется для моделирования и описания бизнес-процессов. Рассматривается эволюция института рецензирования, включая анализ предпосылок текущих и будущих изменений в издательском деле, к которым автор относит кризис традиционной модели рецензирования и распространение практики размещения препринтов. Сопоставляются различные модели рецензирования с точки зрения функций научной коммуникации, а также предлагаются рекомендации по применению постпубликационного рецензирования в России
При поддержке: Работа выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации (тема 122040800182-0 Прогнозные исследования развития научного потенциала Российской Федерации).
Об авторе
Д. М. Кочетков
Уральский федеральный университет им. первого Президента России Б.Н. Ельцина; Институт проблем развития науки РАН; Лейденский университет
Россия
Россия
Кочетков Дмитрий Михайлович – кандидат экономических наук, старший научный сотрудник научно-исследовательской лаборатории по проблемам университетского развития; старший научный сотрудник сектора прогнозирования и формирования приоритетов в сфере науки и инноваций; докторант Центра исследований науки и технологий
Scopus Author ID: 57194605735
620002, Свердловская область, г. Екатеринбург, ул. Мира, д. 19)
117218, г. Москва, Нахимовский пр-т, д. 32
2300 AX, Лейден, ул. Колффпад, д. 1
Список литературы
1. Парафонова В. А. Становление научно-популярных журналов в России // Вестник Московского университета. Серия 10. Журналистика. 2011. № 6. С. 61–72. https://vestnik.journ.msu.ru/books/2011/6/stanovlenie-nauchno-populyarnykh-zhurnalov-v-rossii/
2. Сухарев О. С. Топосы российского рецензирования // Инвестиции в России. 2020. Т. 10. С. 43–48.
3. Тамбовцев В. Л. Рецензирование в современных научных коммуникациях // Управление наукой: теория и практика. 2021. Т. 3. № 1. С. 35–54. https://doi.org/10.19181/smtp.2021.3.1.2
4. Тихонова Е. В., Раицкая Л. К. Рецензирование как инструмент обеспечения эффективной научной коммуникации: традиции и инновации // Научный редактор и издатель. 2021. Т. 6. № 1. С. 6–17. https://doi.org/10.24069/2542-0267-2021-1-6-17
5. Этика научных публикаций: руководства, стандарты и блок-схемы Committee on Publication Ethics (COPE). Этика научных публикаций / Под ред. О. В. Кириллова, Н. Г. Попова; пер. Е. А. Балякина, А. А. Буцанец, С. П. Зернес, [и др.]. Ассоциация научных редакторов и издателей, 2023. https://rassep.ru/academy/biblioteka/116140/
6. Aczel B., Szaszi B., Holcombe A. O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer review // Research Integrity and Peer Review. 2021. Vol. 6. № 1. P. 14. https://doi.org/10.1186/s41073-021-00118-2
7. Avissar-Whiting M., Belliard F., Bertozzi S. M. [et al.] Recommendations for accelerating open preprint peer review to improve the culture of science // PLOS Biology. 2024. Vol. 22. № 2. P. e3002502.
8. Bornmann L. Scientific peer review // Annual Review of Information Science and Technology. 2011. Vol. 45. № 1. P. 197–245. https://doi.org/10.1002/aris.2011.1440450112
9. Braben D., Dowler R. Peer review processes risk stifling creativity and limiting opportunities for gamechanging scientific discoveries // LSE Impact Blog. 2017. https://blogs.lse.ac.uk/impactofsocialsciences/2017/09/17/peer-review-processes-risk-stifling-creativity-and-limiting-opportunities-for-scientificdiscoveries/
10. Brembs B., Drury L. The Open Access rising tide: Gates Foundation ends support to Article Processing Charges // International Science Council. 2024. https://council.science/current/blog/the-open-accessrising-tide-gates-foundation-ends-support-to-article-processing-charges/
11. Chapelle F. H. The History and Practice of Peer Review // Groundwater. 2014. Vol. 52. № 1. P. 1–1. https://doi.org/10.1111/gwat.12139
12. COPE. Diversity and inclusivity. 2021. https://doi.org/10.24318/RLqSoVsZ
13. COPE. Ethical guidelines for peer reviewers (English). Committee on Publication Ethics, 2013. https://doi.org/10.24318/cope.2019.1.9
14. Drury L. The Normalization of Preprints. // SRELS Journal of Information Management. 2022. P. 79–85. https://doi.org/10.17821/srels/2022/v59i2/169462
15. Fyfe A. Quality in peer review: a view through the lens of time // The Royal Society. 2019. https://royalsociety.org/blog/2019/09/quality-in-peer-review-a-view-through-the-lens-of-time/
16. Ginsparg P. ArXiv at 20 // Nature. 2011. Vol. 476. № 7359. P. 145–147.
17. Hess E. L. Effects of the review process // IEEE Transactions on Professional Communication. 1975. Vol. PC-18. № 3. P. 196–199. https://doi.org/10.1109/TPC.1975.6591188
18. Horbach S. P. J.M., Halffman W. Journal Peer Review and Editorial Evaluation: Cautious Innovator or Sleepy Giant? // Minerva. 2020. Vol. 58. P. 139–161. https://doi.org/10.1007/s11024-019-09388-z
19. International Science Council. The Case for Reform of Scientific Publishing. 2023. https://doi.org/10.24948/2023.14
20. Kaltenbrunner W., Waltman L., Barnett A., Byrne J., Chin J. M., Holcombe A., Pinfield S., Vazire S., Wilsdon J. MetaRoR – a new form of scholarly publishing and peer review for STS // EASST Review. 2023. Vol. 421. https://easst.net/easst-review/easst-review-volume-421-july-2023/metaror-a-new-formof-scholarly-publishing-and-peer-review-for-sts/
21. Karhulahti V.-M., Backe H.-J. Transparency of peer review: a semi-structured interview study with chief editors from social sciences and humanities // Research Integrity and Peer Review. 2021. Vol. 6. № 1. P. 13. https://doi.org/10.1186/s41073-021-00116-4
22. Keen S. Post Keynesian Theories of Crisis // The American Journal of Economics and Sociology. 2015. Vol. 74. № 2. P. 298–324. https://doi.org/10.1111/ajes.12099
23. Kochetkov D. Evolution of Peer Review in Scientific Communication // SocArXiv Papers. 2024. https://doi.org/10.31235/osf.io/b2ra3
24. Kovanis M., Trinquart L., Ravaud P., Porcher R. Evaluating alternative systems of peer review: A largescale agent-based modelling approach to scientific publication // Scientometrics. 2017. Vol.113. № 1. P. 651–671. https://doi.org/10.1007/s11192-017-2375-1
25. Kronick D. A. Peer review in 18th-century scientific journalism // JAMA. 1990. Vol. 263. № 10. P. 1321–2. http://www.ncbi.nlm.nih.gov/pubmed/2406469
26. McCook A. Is Peer Review Broken? // The Scientist. 2006. https://www.the-scientist.com/is-peer-reviewbroken-47872
27. Neff B. D., Olden J. D. Is Peer Review a Game of Chance? // BioScience. 2006. Vol. 56. № 4. P. 333– 340. https://doi.org/10.1641/0006-3568(2006)56[333: IPRAGO]2.0.CO;2
28. Ni R., Waltman L. To preprint or not to preprint: A global researcher survey // Journal of the Association for Information Science and Technology. 2024. Vol. 75. № 6. P. 749–766. https://doi.org/10.1002/asi.24880
29. Rennie D. Editorial peer review: Its development and rationale / D. Rennie // Peer Review in Health Sciences / eds. F. Godleeand, T. Jefferson. London: BMJ Books, 1999. P. 1–13.
30. Rühli F. J., Finnegan M., Hershkovitz I., Henneberg, M. Peer-review for the peer-review system // Human_Ontogenetics. 2009. Vol. 3. № 1. P. 3–6. https://doi.org/10.1002/huon.200900004
31. Smart P. The evolution, benefits, and challenges of preprints and their interaction with journals // Science Editing. 2022. Vol. 9. № 1. P. 79–84. https://doi.org/10.6087/kcse.269
32. Smith O. M., Davis K. L., Pizza R. B., Waterman R., Dobson K. C., Foster B., Jarvey J. C., Jones L. N., Leuenberger W., Nourn N., Conway E. E., Fiser C. M., Hansen Z. A., Hristova A., Mack C., Saunders A. N., Utley O. J., Young M. L., Davis C. L. Peer review perpetuates barriers for historically excluded groups // Nature Ecology & Evolution. 2023. Vol. 7. № 4. P. 512–523. https://doi.org/10.1038/s41559-023-01999-w
33. Steinhauser G., Adlassnig W., Risch J.A., Anderlini S., Arguriou P., Armendariz A. Z., Bains W., Baker C., Barnes M., Barnett J., Baumgartner M., Baumgartner T., Bendall C. A., Bender Y. S., Bichler M., Biermann T., Bini R., Blanco E., Bleau J., … Zwiren N. Peer review versus editorial review and their role in innovative science // Theoretical Medicine and Bioethics. 2012. Vol. 33. № 5. P. 359–376. https://doi.org/10.1007/s11017-012-9233-1
34. Stoddard B. L., Fox K. R. Editorial: Preprints, citations and Nucleic Acids Research // Nucleic Acids Research. 2019. Vol. 47. Editorial. № 1. P. 1–2. https://doi.org/10.1093/nar/gky1229
35. Stoddart C. Is there a reproducibility crisis in science? // Nature. 2016. https://doi.org/10.1038/d41586-019-00067-3
36. Tite L., Schroter S. Why do peer reviewers decline to review? A survey // Journal of Epidemiology & Community Health. 2007. Vol. 61. P. 9–12.
37. Waltman L., van Eck, N. J. The preprint revolution – Implications for bibliographic databases // Upstream. 2023. https://doi.org/10.54900/fk7p22x-xydnebd
38. Williams J. B., McNeill J. M. The Current Crisis in Neoclassical Economics and the Case for an Economic Analysis Based on Sustainable Development // SSRN Electronic Journal. 2005. https://doi.org/10.2139/ssrn.1606342
39. Willis M. Why do peer reviewers decline to review manuscripts? A study of reviewer invitation responses // Learned Publishing. 2016. Vol. 29. № 1. P. 5–7. https://doi.org/10.1002/leap.1006
40. Funders support use of reviewed preprints in research assessment // eLife. 2022. https://elifesciences.org/for-the-press/e5423e39/funders-support-use-of-reviewed-preprints-in-research-assessment
Рецензия
Рецензент 1
Писляков В.В., кандидат физико-математических наук, заместитель директора библиотеки НИУ "Высшая школа экономики"
В статье приводится краткий обзор эволюции организации процесса рецензирования в научных журналах и подробный анализ текущего состояния дел и перспектив развития академического рецензирования. Данный вопрос получил на данный момент крайне слабое отражение в отечественной литературе и, несомненно, рукопись представляет интерес для научно-образовательного сообщества России. Хочется также отметить исчерпывающий список литературы, который позволит заинтересованному читателю ознакомиться с самыми современными зарубежными и (редкими) российскими работами по данной теме. Я рекомендую рукопись к публикации.
Из недостатков я бы отметил несколько публицистический стиль письма, который рекомендую привести в большее соответствие с рутинными академическими нормами. В связи с этим я также затрудняюсь определить тип публикации (требуется в полях рецензента): для оригинального исследования здесь, пожалуй, нет собственно "исследования". С другой стороны, и обычным обзором литературы это тоже не является, поскольку высказана внятная позиция автора и его взгляд на ситуацию. Скорее это некоторый обзор, но не литературы, а "состояния дел и путей развития", что даже роднит рукопись с работой общественно-политического характера.
Мной предложено некоторое изменение исходного названия статьи на "Постпубликационное рецензирование: развитие научно-издательского процесса", более строгое ввиду сказанного выше. Кроме того, ряд стилистических правок по тексту отправлены в редакцию отдельным файлом.
Мне также кажется важным правильно перевести на русский третье звено в формуле Publish — Review — Curate, поскольку введенная в данной статье терминология может стать образцом для дальнейшего употребления в отечественном обиходе. Вероятно, это не "курируй", а "следи", "отслеживай", "наблюдай", "улучшай" или подобное. Мне сложно предложить точный вариант, здесь необходимо глубокое знание контекста, которым должен обладать именно автор статьи.
Из незначительных замечаний:
— для непосвященного читателя следует расшифровать аббревиатуру BPMN при первом упоминании;
— по моим сведениям Philosophical Transactions стали выходить в 1665 г., а не в 1752, как пишет автор.
Рецензент 2
Тихонова Е.В., кандидат исторических наук, основатель и заместитель главного редактора журнала "Journal of Language and Education", НИУ "Высшая школа экономики"; доцент МГИМО МИД России.
Рукопись статьи "Постпубликационное рецензирование: революция в издательском деле" посвящена крайне актуальной теме переосмысления традиционной модели научного рецензирования и предложению альтернативных подходов в контексте современной научной коммуникации. Автор рассматривает историческое развитие института рецензирования, начиная с его зарождения в XVII веке и до настоящего времени, подчеркивая важность рецензирования для обеспечения качества и достоверности научных публикаций. В статье используется метод исторического анализа, а также моделирование с применением нотации BPMN для визуализации процессов.
Цель исследования заключается в выявлении оптимальной модели рецензирования, способной эффективно поддерживать функции научной коммуникации в современных условиях. Основной акцент сделан на анализ постпубликационного рецензирования, представленного через модель "публикуй-рецензируй-курируй" (PRC). Эта модель рассматривается как перспективная альтернатива традиционному предпубликационному рецензированию, которая может предложить ряд преимуществ, таких как ускорение процесса публикации и повышение прозрачности научного процесса.
К положительным аспектам рукописи относится подробный исторический обзор развития рецензирования, который предоставляет контекст для понимания современных проблем и вызовов в сфере конструирования и трансляции научного знания. Также автор выделяет ключевые кризисные явления в традиционном рецензировании, такие как дефицит квалифицированных рецензентов, предвзятость и неравенство в доступе к публикациям, а также низкая воспроизводимость научных исследований. Важным является и освещение проблематики препринтов, которые становятся все более популярными, предоставляя возможности для неотсроченной и открытой научной коммуникации, но при этом сталкиваются с вопросами контроля качества их контента и этики их функционирования.
Автор анализирует и обосновывает модель PRC как революционный подход к рецензированию, где публикация препринта является начальным этапом, за которым следует открытое рецензирование и последующее курирование результатов. Эта модель позволяет обеспечить более быстрый доступ к новым знаниям и стимулирует открытый научный диалог. Автор детально сравнивает традиционную модель и модель PRC с точки зрения функций научной коммуникации, таких как регистрация, распространение, сертификация и архивация.
Несмотря на множество положительных сторон, существует ряд моментов, учет которых способен усилить персуазивность рукописи. В частности, автор не предоставляет эмпирических данных, которые могли бы подтвердить эффективность модели PRC на практике. С одной стороны, относительная "молодость" модели затрудняет аккумулирование этих данных, с другой стороны, их представление позволило бы читателям глубиннее понять архитектуру реализации модели на практике. Недостаточно подробно рассмотрены возможные культурные и организационные барьеры, которые могут препятствовать внедрению постпубликационного рецензирования. Российский контекст упомянут, но вне его сравнения с иными культурными контекстами, возможность формулирования глубинных выводов может пострадать. Вопрос о возможных этических и правовых аспектах открытого рецензирования не получил должного освещения. Несмотря на то, что этот вопрос не являлся основным фокусом исследования, его освещение усилило бы целостность восприятия анализируемой модели.
В качестве рекомендации: имеет смысл подробнее осветить суть постпубликационного курирования данных. Читатели не обладают фоновыми знаниями автора и для них объем этого процесса может остаться непонятным.
В заключение, автор делает вывод о необходимости постепенного внедрения постпубликационного рецензирования в научную практику, особенно подчеркивая важность создания "ядра" сторонников этого подхода в академическом сообществе. Также выделяются рекомендации по развитию инфраструктуры для поддержки этой модели, что должно включать возможность интеграции различных версий публикаций и учет цитируемости. Это очень важно, поскольку многие исследователи, представляя новый подход / концепт / инструмент и пр. зачастую отгораживаются от комментирования реальных шагов по их внедрению за общими фразами о необходимости дальнейших исследований для их конструирования.
Все идеи автора представлены с опорой на аргументы в логической последовательности. Контент и функциональное содержание секций рукописи находятся в тесной синергии. Единственным моментом, который на мой взгляд, мог бы еще больше усилить посыл рукописи, является возможность выделения классической секции Заключение с описанием прагматики исследования (take away message, ограничения, возможности применения и дальнейшие направления исследования), а для сравнения моделей и рефлексии по поводу этого сравнения выделить отдельную подсекцию. Безусловно, конвенциональные дисциплинарные модели представления информации в рукописи позволяют различные варианты ее манифестации, однако подготовленный читатель имеет определенные ожидания от каждой секции и заключение, в этом отношении очень требовательная секция. Тем более, что традиционно в этой секции представлены именно идеи автора / авторского коллектива, а отсылки к другим источникам не приветствуются (хотя существуют и исключения). В своем текущем воплощении секция Заключение объединяет элементы обсуждения результатов параллельно с представлением новой информации, что затрудняет считывание для читателей основного посыла автора.
Все представленные замечания носят рекомендательный характер. Рукопись в своем текущем состоянии выглядит вполне гармонично и цельно, представляет собой значимый вклад в дискуссию о будущем научного рецензирования и поднимает важные вопросы, касающиеся реформирования существующей системы. Предложенные автором идеи и рекомендации могут стать основой для дальнейших исследований и практической реализации новых подходов в издательском деле, направленных на повышение эффективности и открытости научной коммуникации.
Мнение рецензента: опубликовать с незначительными доработками.
Комментарий автора
Автор искренне благодарен рецензентам за работу по улучшению рукописи. Ниже приведены комментарии по доработке в соответствии с конкретными замечаниями рецензентов.
| Рецензент | Автор |
| Рецензент 1 |
|
1 | Из недостатков я бы отметил несколько публицистический стиль письма, который рекомендую привести в большее соответствие с рутинными академическими нормами. В связи с этим я также затрудняюсь определить тип публикации (требуется в полях рецензента): для оригинального исследования здесь, пожалуй, нет собственно "исследования". С другой стороны, и обычным обзором литературы это тоже не является, поскольку высказана внятная позиция автора и его взгляд на ситуацию. Скорее это некоторый обзор, но не литературы, а "состояния дел и путей развития", что даже роднит рукопись с работой общественно-политического характера. | С учетом количества проанализированных источников и объема рукописи, мне кажется, что наиболее приемлемым типом публикации является "Обзорная статья" (хотя я понимаю, что материал несколько отличается от конвенционального обзора литературы). Учитывая дискуссионный характер рукописи, материал предложен в рубрику "Актуальная тема/Дискуссия". |
2 | Мной предложено некоторое изменение исходного названия статьи на "Постпубликационное рецензирование: развитие научно-издательского процесса", более строгое ввиду сказанного выше. Кроме того, ряд стилистических правок по тексту отправлены в редакцию отдельным файлом. | Согласен с изменением названия. Стилистические правки с благодарностью приняты и использованы в процессе исправления текста. |
3 | Мне также кажется важным правильно перевести на русский третье звено в формуле Publish — Review — Curate, поскольку введенная в данной статье терминология может стать образцом для дальнейшего употребления в отечественном обиходе. Вероятно, это не "курируй", а "следи", "отслеживай", "наблюдай", "улучшай" или подобное. Мне сложно предложить точный вариант, здесь необходимо глубокое знание контекста, которым должен обладать именно автор статьи. | После тщательного анализа термин "курируй" представляется оптимальным: он уже используется в русском языке, в том числе в научном обороте ("курируемые коллекции", "курируемые данные"), и мне кажется его сложно точно заменить по смыслу. |
4 | Для непосвященного читателя следует расшифровать аббревиатуру BPMN при первом упоминании. | Расшифровка добавлена. |
5 | По моим сведениям, Philosophical Transactions стали выходить в 1665 г., а не в 1752, как пишет автор. | Журнал действительно издавался с 1665 г., но Лондонское королевское общество взяло на себя ответственность за его издание только в 1752 г. Соответственные изменения внесены в текст статьи. |
| Рецензент 2 |
|
1 | Автор не предоставляет эмпирических данных, которые могли бы подтвердить эффективность модели PRC на практике. С одной стороны, относительная "молодость" модели затрудняет аккумулирование этих данных, с другой стороны, их представление позволило бы читателям глубиннее понять архитектуру реализации модели на практике. | Комментарий учтен в подразделе Заключения "Ограничения и направления будущих исследований". |
2 | Недостаточно подробно рассмотрены возможные культурные и организационные барьеры, которые могут препятствовать внедрению постпубликационного рецензирования. Российский контекст упомянут, но вне его сравнения с иными культурными контекстами, возможность формулирования глубинных выводов может пострадать. | Расширен раздел "Обсуждение", рассмотрены организационные и культурные барьеры для внедрения инноваций в рецензирование. |
3 | Вопрос о возможных этических и правовых аспектах открытого рецензирования не получил должного освещения. Несмотря на то, что этот вопрос не являлся основным фокусом исследования, его освещение усилило бы целостность восприятия анализируемой модели. | Комментарий учтен в подразделе Заключения "Ограничения и направления будущих исследований". |
4 | В качестве рекомендации: имеет смысл подробнее осветить суть постпубликационного курирования данных. Читатели не обладают фоновыми знаниями автора и для них объем этого процесса может остаться непонятным. | Дополнен раздел "Модель "Публикуй-рецензируй-курируй" |
5 | Единственным моментом, который на мой взгляд, мог бы еще больше усилить посыл рукописи, является возможность выделения классической секции Заключение с описанием прагматики исследования (take away message, ограничения, возможности применения и дальнейшие направления исследования), а для сравнения моделей и рефлексии по поводу этого сравнения выделить отдельную подсекцию. Безусловно, конвенциональные дисциплинарные модели представления информации в рукописи позволяют различные варианты ее манифестации, однако подготовленный читатель имеет определенные ожидания от каждой секции и заключение, в этом отношении очень требовательная секция. Тем более, что традиционно в этой секции представлены именно идеи автора / авторского коллектива, а отсылки к другим источникам не приветствуются (хотя существуют и исключения). В своем текущем воплощении секция Заключение объединяет элементы обсуждения результатов параллельно с представлением новой информации, что затрудняет считывание для читателей основного посыла автора. | Выделен отдельный раздел "Обсуждение" |
Для цитирования:
Кочетков Д.М. Постпубликационное рецензирование: развитие научно-издательского процесса. Экономика науки. 2024;10(3):8-21. https://doi.org/10.22394/2410-132X-2024-10-3-8-21
For citation:
Kochetkov D.M. Post-Publication Review: Evolution of the Scientific Publishing Workflow. Economics of Science. 2024;10(3):8-21. (In Russ.) https://doi.org/10.22394/2410-132X-2024-10-3-8-21
Просмотров:
669
Послать статью по эл. почте 