Preview

Economics of Science

Advanced search

Post-Publication Review: Evolution of the Scientific Publishing Workflow

https://doi.org/10.22394/2410-132X-2024-10-3-8-21

Abstract

For a considerable period of time, peer review has been regarded as the cornerstone of academic journals and scientific communication, ensuring the high quality and reliability of published materials. However, in the early decades of the 21st century, a growing number of scholars began to challenge the traditional peer review procedure, questioning its efficacy. This study aims to provide a fresh perspective on the peer review mechanism, with the objective of enhancing the implementation of scientific communication's functionalities. The research employs historical analysis techniques and modelling methods based on Business Process Model and Notation (BPMN) to compare diverse review models in terms of their influence on scientific communication. BPMN is a conventional tool employed for modelling and describing business processes. The evolution of the peer review procedure is explored, encompassing an examination of the factors contributing to current and future transformations in the publishing realm. The author refers to the crisis of the conventional peer review system and the growing prevalence of preprints, serving as exemplars of these transformations. Finally, suggestions for the implementation of the post-publication review workflow in Russia are provided.

About the Author

D. M. Kochetkov
Ural Federal University, Ekaterinburg; Institute for the Study of Science, Russian Academy of Sciences; Leiden University, Leiden
Russian Federation

Dmitry M. Kochetkov – Candidate of Sciences in Economics, senior researcher at the Research Laboratory; senior researcher at the Sector of Forecasting and Science and Innovation Priorities; PhD candidate at the Centre for Science and Technology Studies

Scopus Author ID: 57194605735

19 Mira str., Ekaterinburg 620002

32 Nakhimovsky Ave., Moscow 117218

Kolffpad, Leiden 2300 AX

 

 



References

1. Aczel, B., Szaszi, B., & Holcombe, A.O. (2021). A billion-dollar donation: Estimating the cost of researchers’ time spent on peer review. Research Integrity and Peer Review, 6(1), 14. https://doi.org/10.1186/s41073-021-00118-2

2. Avissar-Whiting, M., Belliard, F., Bertozzi, S. M., Brand, A., Brown, K., Clément-Stoneham, G., Dawson, S., Dey, G., Ecer, D., Edmunds, S. C., Farley, A., Fischer, T. D., Franko, M., Fraser, J. S., Funk, K., Ganier, C., Harrison, M., Hatch, A., Hazlett, H., … Williams, M. (2024). Recommendations for accelerating open preprint peer review to improve the culture of science. PLOS Biology, 22(2), e3002502. https://doi.org/10.1371/journal.pbio.3002502

3. Bornmann, L. (2011). Scientific peer review. Annual Review of Information Science and Technology, 45(1), 197–245. https://doi.org/10.1002/aris.2011.1440450112

4. Braben, D., & Dowler, R. (2017, September). Peer review processes risk stifling creativity and limiting opportunities for game-changing scientific discoveries. LSE Impact Blog. https://blogs.lse.ac.uk/impactofsocialsciences/2017/09/17/peer-review-processes-risk-stifling-creativity-and-limiting-opportunities-forscientific- discoveries/

5. Brembs, B., & Drury, L. (2024, March 27). The Open Access rising tide: Gates Foundation ends support to Article Processing Charges. International Science Council. https://council.science/current/blog/theopen-access-rising-tide-gates-foundation-ends-support-to-article-processing-charges/

6. Chapelle, F. H. (2014). The History and Practice of Peer Review. Groundwater, 52(1), 1–1. https://doi.org/10.1111/gwat.12139

7. COPE. (2013). Ethical guidelines for peer reviewers (English). Committee on Publication Ethics. https://doi.org/10.24318/cope.2019.1.9

8. COPE. (2021). Diversity and inclusivity. https://doi.org/10.24318/RLqSoVsZ

9. Drury, L. (2022). The Normalization of Preprints. SRELS Journal of Information Management, 79–85. https://doi.org/10.17821/srels/2022/v59i2/169462

10. Funders support use of reviewed preprints in research assessment. (2022, December 7). eLife. https://elifesciences.org/for-the-press/e5423e39/funders-support-use-of-reviewed-preprints-in-researchassessment

11. Fyfe, A. (2019, September). Quality in peer review: A view through the lens of time. The Royal Society. https://royalsociety.org/blog/2019/09/quality-in-peer-review-a-view-through-the-lens-of-time/

12. Ginsparg, P. (2011). ArXiv at 20. Nature, 476(7359), 145–147. https://doi.org/10.1038/476145a

13. Hess, E.L. (1975). Effects of the review process. IEEE Transactions on Professional Communication, PC-18(3), 196–199. https://doi.org/10.1109/TPC.1975.6591188

14. Horbach, S.P. J.M., & Halffman, W. (2020). Journal Peer Review and Editorial Evaluation: Cautious Innovator or Sleepy Giant? Minerva, 58, 139–161. https://doi.org/10.1007/s11024-019-09388-z

15. International Science Council. (2023). The Case for Reform of Scientific Publishing. https://doi.org/10.24948/2023.14

16. Kaltenbrunner, W., Waltman, L., Barnett, A., Byrne, J., Chin, J.M., Holcombe, A., Pinfield, S., Vazire, S., & Wilsdon, J. (2023). MetaRoR – a new form of scholarly publishing and peer review for STS. EASST Review, 421. https://easst.net/easst-review/easst-review-volume-421-july-2023/metaror-a-new-form-ofscholarly- publishing-and-peer-review-for-sts/

17. Karhulahti, V.-M., & Backe, H.-J. (2021). Transparency of peer review: A semi-structured interview study with chief editors from social sciences and humanities. Research Integrity and Peer Review, 6(1), 13. https://doi.org/10.1186/s41073-021-00116-4

18. Keen, S. (2015). Post Keynesian Theories of Crisis. The American Journal of Economics and Sociology, 74(2), 298–324. https://doi.org/10.1111/ajes.12099

19. Kirillova, O.V., & Popova, N.G. (Eds) (2023). Ethics of scientific publications: Guidelines, standards and flowcharts of Committee on Publication Ethics (COPE). Association of Science Editors and Publishers. https://doi.org/10.24069/ASEP-2023-ethics (in Russ)

20. Kochetkov, D. (2024, March 21). Evolution of Peer Review in Scientific Communication. SocArXiv Papers. https://doi.org/10.31235/osf.io/b2ra3

21. Kovanis, M., Trinquart, L., Ravaud, P., & Porcher, R. (2017). Evaluating alternative systems of peer review: A large-scale agent-based modelling approach to scientific publication. Scientometrics, 113(1), 651–671. https://doi.org/10.1007/s11192-017-2375-1

22. Kronick, D.A. (1990). Peer review in 18th-century scientific journalism. JAMA, 263(10), 1321–1322. http://www.ncbi.nlm.nih.gov/pubmed/2406469

23. McCook, A. (2006, February 1). Is Peer Review Broken? The Scientist. https://www.the-scientist.com/ispeer-review-broken-47872

24. Neff, B.D., & Olden, J.D. (2006). Is Peer Review a Game of Chance? BioScience, 56(4), 333–340. https://doi.org/10.1641/0006-3568(2006)56[333: IPRAGO]2.0.CO;2

25. Ni, R., & Waltman, L. (2024). To preprint or not to preprint: A global researcher survey. Journal of the Association for Information Science and Technology, 75(6), 749–766. https://doi.org/10.1002/asi.24880

26. Parafonova, V.A. (2011). Development of scientific-popular journals in russia. Vestnik Moskovskogo universiteta. Seriya 10. Zhurnalistika, 6, 61–72. https://vestnik.journ.msu.ru/books/2011/6/stanovlenienauchno-populyarnykh-zhurnalov-v-rossii/(in Russ)

27. Rennie, D. (1999). Editorial peer review: Its development and rationale. In F. Godleeand & T. Jefferson (Eds.), Peer Review in Health Sciences (pp. 1–13). BMJ Books.

28. Rühli, F.J., Finnegan, M., Hershkovitz, I., & Henneberg, M. (2009). Peer-review for the peer-review system. Human_ontogenetics, 3(1), 3–6. https://doi.org/10.1002/huon.200900004

29. Smart, P. (2022). The evolution, benefits, and challenges of preprints and their interaction with journals. Science Editing, 9(1), 79–84. https://doi.org/10.6087/kcse.269

30. Smith, O.M., Davis, K.L., Pizza, R.B., Waterman, R., Dobson, K.C., Foster, B., Jarvey, J.C., Jones, L.N., Leuenberger, W., Nourn, N., Conway, E. E., Fiser, C. M., Hansen, Z. A., Hristova, A., Mack, C., Saunders, A.N., Utley, O.J., Young, M.L., & Davis, C.L. (2023). Peer review perpetuates barriers for historically excluded groups. Nature Ecology & Evolution, 7(4), 512–523. https://doi.org/10.1038/s41559-023-01999-w

31. Steinhauser, G., Adlassnig, W., Risch, J.A., Anderlini, S., Arguriou, P., Armendariz, A.Z., Bains, W., Baker, C., Barnes, M., Barnett, J., Baumgartner, M., Baumgartner, T., Bendall, C.A., Bender, Y.S., Bichler, M., Biermann, T., Bini, R., Blanco, E., Bleau, J., … Zwiren, N. (2012). Peer review versus editorial review and their role in innovative science. Theoretical Medicine and Bioethics, 33(5), 359–376. https://doi.org/10.1007/s11017-012-9233-1

32. Stoddard, B.L., & Fox, K.R. (2019). Editorial: Preprints, citations and Nucleic Acids Research. Nucleic Acids Research, 47(1), 1–2. https://doi.org/10.1093/nar/gky1229

33. Stoddart, C. (2016). Is there a reproducibility crisis in science? Nature. https://doi.org/10.1038/d41586-019-00067-3

34. Sukharev, O.S. (2020). Topos of Russian peer review. Investments in Russia, 10, 43–48.

35. Tambovtsev, V.L. (2021). Peer reviewing in the contemporary academic communications. Science Management: Theory and Practice, 3(1), 35–54. https://doi.org/10.19181/smtp.2021.3.1.2 (in Russ)

36. Tikhonova, E.V., & Raitskaya, L.K. (2021). Ensuring effective scholarly communication: traditions and innovations of peer review. Science Editor and Publisher, 6(1), 6–17. https://doi.org/10.24069/2542-0267-2021-1-6-17

37. Tite, L., & Schroter, S. (2007). Why do peer reviewers decline to review? A survey. Journal of Epidemiology & Community Health, 61, 9–12.

38. Waltman, L., & van Eck, N.J. (2023, February 21). The preprint revolution – Implications for bibliographic databases. Upstream. https://doi.org/10.54900/fk7p22x-xydnebd

39. Williams, J.B., & McNeill, J.M. (2005). The Current Crisis in Neoclassical Economics and the Case for an Economic Analysis Based on Sustainable Development. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.1606342

40. Willis, M. (2016). Why do peer reviewers decline to review manuscripts? A study of reviewer invitation responses. Learned Publishing, 29(1), 5–7. https://doi.org/10.1002/leap.1006


Review

Рецензент 1

Писляков В.В., кандидат физико-математических наук, заместитель директора библиотеки НИУ "Высшая школа экономики"

В статье приводится краткий обзор эволюции организации процесса рецензирования в научных журналах и подробный анализ текущего состояния дел и перспектив развития академического рецензирования. Данный вопрос получил на данный момент крайне слабое отражение в отечественной литературе и, несомненно, рукопись представляет интерес для научно-образовательного сообщества России. Хочется также отметить исчерпывающий список литературы, который позволит заинтересованному читателю ознакомиться с самыми современными зарубежными и (редкими) российскими работами по данной теме. Я рекомендую рукопись к публикации.

Из недостатков я бы отметил несколько публицистический стиль письма, который рекомендую привести в большее соответствие с рутинными академическими нормами. В связи с этим я также затрудняюсь определить тип публикации (требуется в полях рецензента): для оригинального исследования здесь, пожалуй, нет собственно "исследования". С другой стороны, и обычным обзором литературы это тоже не является, поскольку высказана внятная позиция автора и его взгляд на ситуацию. Скорее это некоторый обзор, но не литературы, а "состояния дел и путей развития", что даже роднит рукопись с работой общественно-политического характера.

Мной предложено некоторое изменение исходного названия статьи на "Постпубликационное рецензирование: развитие научно-издательского процесса", более строгое ввиду сказанного выше. Кроме того, ряд стилистических правок по тексту отправлены в редакцию отдельным файлом.

Мне также кажется важным правильно перевести на русский третье звено в формуле Publish — Review — Curate, поскольку введенная в данной статье терминология может стать образцом для дальнейшего употребления в отечественном обиходе. Вероятно, это не "курируй", а "следи", "отслеживай", "наблюдай", "улучшай" или подобное. Мне сложно предложить точный вариант, здесь необходимо глубокое знание контекста, которым должен обладать именно автор статьи.

Из незначительных замечаний:
— для непосвященного читателя следует расшифровать аббревиатуру BPMN при первом упоминании;
— по моим сведениям Philosophical Transactions стали выходить в 1665 г., а не в 1752, как пишет автор.

Рецензент 2

Тихонова Е.В., кандидат исторических наук, основатель и заместитель главного редактора журнала "Journal of Language and Education", НИУ "Высшая школа экономики"; доцент МГИМО МИД России.

Рукопись статьи "Постпубликационное рецензирование: революция в издательском деле" посвящена крайне актуальной теме переосмысления традиционной модели научного рецензирования и предложению альтернативных подходов в контексте современной научной коммуникации. Автор рассматривает историческое развитие института рецензирования, начиная с его зарождения в XVII веке и до настоящего времени, подчеркивая важность рецензирования для обеспечения качества и достоверности научных публикаций. В статье используется метод исторического анализа, а также моделирование с применением нотации BPMN для визуализации процессов.

Цель исследования заключается в выявлении оптимальной модели рецензирования, способной эффективно поддерживать функции научной коммуникации в современных условиях. Основной акцент сделан на  анализ постпубликационного рецензирования, представленного через модель "публикуй-рецензируй-курируй" (PRC). Эта модель рассматривается как перспективная альтернатива традиционному предпубликационному рецензированию, которая может предложить ряд преимуществ, таких как ускорение процесса публикации и повышение прозрачности научного процесса.

К положительным аспектам рукописи относится подробный исторический обзор развития рецензирования, который предоставляет контекст для понимания современных проблем и вызовов в сфере конструирования и трансляции научного знания. Также автор выделяет ключевые кризисные явления в традиционном рецензировании, такие как дефицит квалифицированных рецензентов, предвзятость и неравенство в доступе к публикациям, а также низкая воспроизводимость научных исследований. Важным является и освещение проблематики препринтов, которые становятся все более популярными, предоставляя возможности для неотсроченной и открытой научной коммуникации, но при этом сталкиваются с вопросами контроля качества их контента и этики их функционирования.

Автор анализирует и обосновывает модель PRC как революционный подход к рецензированию, где публикация препринта является начальным этапом, за которым следует открытое рецензирование и последующее курирование результатов. Эта модель позволяет обеспечить более быстрый доступ к новым знаниям и стимулирует открытый научный диалог. Автор детально сравнивает традиционную модель и модель PRC с точки зрения функций научной коммуникации, таких как регистрация, распространение, сертификация и архивация.

Несмотря на множество положительных сторон, существует ряд моментов, учет которых способен усилить персуазивность рукописи. В частности, автор не предоставляет эмпирических данных, которые могли бы подтвердить эффективность модели PRC на практике. С одной стороны, относительная "молодость" модели затрудняет аккумулирование этих данных, с другой стороны, их представление позволило бы читателям глубиннее понять архитектуру реализации модели на практике. Недостаточно подробно рассмотрены возможные культурные и организационные барьеры, которые могут препятствовать внедрению постпубликационного рецензирования. Российский контекст упомянут, но вне его сравнения с иными культурными контекстами, возможность формулирования глубинных выводов может пострадать. Вопрос о возможных этических и правовых аспектах открытого рецензирования не получил должного освещения. Несмотря на то, что этот вопрос не являлся основным фокусом исследования, его освещение усилило бы целостность восприятия анализируемой модели.

В качестве рекомендации: имеет смысл подробнее осветить суть постпубликационного курирования данных. Читатели не обладают фоновыми знаниями автора и для них объем этого процесса может остаться непонятным.

В заключение, автор делает вывод о необходимости постепенного внедрения постпубликационного рецензирования в научную практику, особенно подчеркивая важность создания "ядра" сторонников этого подхода в академическом сообществе. Также выделяются рекомендации по развитию инфраструктуры для поддержки этой модели, что должно включать возможность интеграции различных версий публикаций и учет цитируемости. Это очень важно, поскольку многие исследователи, представляя новый подход / концепт / инструмент и пр. зачастую отгораживаются от комментирования реальных шагов по их внедрению за общими фразами о необходимости дальнейших исследований для их конструирования.

Все идеи автора представлены с опорой на аргументы в логической последовательности. Контент и функциональное содержание секций рукописи находятся в тесной синергии. Единственным моментом, который на мой взгляд, мог бы еще больше усилить посыл рукописи, является возможность выделения классической секции Заключение с описанием прагматики исследования (take away message, ограничения, возможности применения и дальнейшие направления исследования), а для сравнения моделей и рефлексии по поводу этого сравнения выделить отдельную подсекцию. Безусловно, конвенциональные дисциплинарные модели представления информации в рукописи позволяют различные варианты ее манифестации, однако подготовленный читатель имеет определенные ожидания от каждой секции и заключение, в этом отношении очень требовательная секция. Тем более, что традиционно в этой секции представлены именно идеи автора / авторского коллектива, а отсылки к другим источникам не приветствуются (хотя существуют и исключения). В своем текущем воплощении секция Заключение объединяет элементы обсуждения результатов параллельно с представлением новой информации, что затрудняет считывание для читателей основного посыла автора.

Все представленные замечания носят рекомендательный характер. Рукопись в своем текущем состоянии выглядит вполне гармонично и цельно, представляет собой значимый вклад в дискуссию о будущем научного рецензирования и поднимает важные вопросы, касающиеся реформирования существующей системы. Предложенные автором идеи и рекомендации могут стать основой для дальнейших исследований и практической реализации новых подходов в издательском деле, направленных на повышение эффективности и открытости научной коммуникации.

Мнение рецензента: опубликовать с незначительными доработками.

Комментарий автора
Автор искренне благодарен рецензентам за работу по улучшению рукописи. Ниже приведены комментарии по доработке в соответствии с конкретными замечаниями рецензентов.

 

Рецензент

Автор

 

Рецензент 1

 

1

Из недостатков я бы отметил несколько публицистический стиль письма, который рекомендую привести в большее соответствие с рутинными академическими нормами. В связи с этим я также затрудняюсь определить тип публикации (требуется в полях рецензента): для оригинального исследования здесь, пожалуй, нет собственно "исследования". С другой стороны, и обычным обзором литературы это тоже не является, поскольку высказана внятная позиция автора и его взгляд на ситуацию. Скорее это некоторый обзор, но не литературы, а "состояния дел и путей развития", что даже роднит рукопись с работой общественно-политического характера.

С учетом количества проанализированных источников и объема рукописи, мне кажется, что наиболее приемлемым типом публикации является "Обзорная статья" (хотя я понимаю, что материал несколько отличается от конвенционального обзора литературы). Учитывая дискуссионный характер рукописи, материал предложен в рубрику "Актуальная тема/Дискуссия".

2

Мной предложено некоторое изменение исходного названия статьи на "Постпубликационное рецензирование: развитие научно-издательского процесса", более строгое ввиду сказанного выше. Кроме того, ряд стилистических правок по тексту отправлены в редакцию отдельным файлом.

Согласен с изменением названия. Стилистические правки с благодарностью приняты и использованы в процессе исправления текста.

3

Мне также кажется важным правильно перевести на русский третье звено в формуле Publish — Review — Curate, поскольку введенная в данной статье терминология может стать образцом для дальнейшего употребления в отечественном обиходе. Вероятно, это не "курируй", а "следи", "отслеживай", "наблюдай", "улучшай" или подобное. Мне сложно предложить точный вариант, здесь необходимо глубокое знание контекста, которым должен обладать именно автор статьи.

После тщательного анализа термин "курируй" представляется оптимальным: он уже используется в русском языке, в том числе в научном обороте ("курируемые коллекции", "курируемые данные"), и мне кажется его сложно точно заменить по смыслу.

4

Для непосвященного читателя следует расшифровать аббревиатуру BPMN при первом упоминании.

Расшифровка добавлена.

5

По моим сведениям, Philosophical Transactions стали выходить в 1665 г., а не в 1752, как пишет автор.

Журнал действительно издавался с 1665 г., но Лондонское королевское общество взяло на себя ответственность за его издание только в 1752 г. Соответственные изменения внесены в текст статьи.

 

Рецензент 2

 

1

Автор не предоставляет эмпирических данных, которые могли бы подтвердить эффективность модели PRC на практике. С одной стороны, относительная "молодость" модели затрудняет аккумулирование этих данных, с другой стороны, их представление позволило бы читателям глубиннее понять архитектуру реализации модели на практике.

Комментарий учтен в подразделе Заключения "Ограничения и направления будущих исследований".

2

Недостаточно подробно рассмотрены возможные культурные и организационные барьеры, которые могут препятствовать внедрению постпубликационного рецензирования. Российский контекст упомянут, но вне его сравнения с иными культурными контекстами, возможность формулирования глубинных выводов может пострадать.

Расширен раздел "Обсуждение", рассмотрены организационные и культурные барьеры для внедрения инноваций в рецензирование.

3

Вопрос о возможных этических и правовых аспектах открытого рецензирования не получил должного освещения. Несмотря на то, что этот вопрос не являлся основным фокусом исследования, его освещение усилило бы целостность восприятия анализируемой модели.

Комментарий учтен в подразделе Заключения "Ограничения и направления будущих исследований".

4

В качестве рекомендации: имеет смысл подробнее осветить суть постпубликационного курирования данных. Читатели не обладают фоновыми знаниями автора и для них объем этого процесса может остаться непонятным.

Дополнен раздел "Модель "Публикуй-рецензируй-курируй"

5

Единственным моментом, который на мой взгляд, мог бы еще больше усилить посыл рукописи, является возможность выделения классической секции Заключение с описанием прагматики исследования (take away message, ограничения, возможности применения и дальнейшие направления исследования), а для сравнения моделей и рефлексии по поводу этого сравнения выделить отдельную подсекцию. Безусловно, конвенциональные дисциплинарные модели представления информации в рукописи позволяют различные варианты ее манифестации, однако подготовленный читатель имеет определенные ожидания от каждой секции и заключение, в этом отношении очень требовательная секция. Тем более, что традиционно в этой секции представлены именно идеи автора / авторского коллектива, а отсылки к другим источникам не приветствуются (хотя существуют и исключения). В своем текущем воплощении секция Заключение объединяет элементы обсуждения результатов параллельно с представлением новой информации, что затрудняет считывание для читателей основного посыла автора.

Выделен отдельный раздел "Обсуждение"

For citations:


Kochetkov D.M. Post-Publication Review: Evolution of the Scientific Publishing Workflow. Economics of Science. 2024;10(3):8-21. (In Russ.) https://doi.org/10.22394/2410-132X-2024-10-3-8-21

Views: 674


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 License.


ISSN 2410-132X (Print)
ISSN 2949-4680 (Online)