同行评审是否还能经得住“同行评审”?

学术出版的当代变迁挑战着同行评审制度。

来源 | FirstPrinciples

翻译 | Alex

“情况相当糟糕,” 当伊万·奥兰斯基(Ivan Oransky)被问及学术同行评审(Peer Review)的现状时,他不加掩饰地说道。

奥兰斯基是纽约大学的杰出驻校记者,也是“撤稿观察”(Retraction Watch)网站[1]的联合创始人。该网站专门记录不断攀升的学术期刊中论文的撤回数量。也正因如此,他比任何人都更有资格给出这样直白的评价。

他进一步详细阐述了导致当前困境的一系列原因,其中包括:学术界“不发表就出局”的压力、AI聊天机器人代笔、掠夺性期刊(predatory journals)的泛滥、论文剽窃、论文数量激增、审稿人严重短缺,以及缺乏有效激励机制来吸引和留住审稿人。

500

Ivan Oransky (伊万·奥兰斯基)| 图源:FirstPrinciples

奥兰斯基在其纽约大学办公室接受《第一原则》杂志(FirstPrinciples)电话采访时直言:“目前情况相当糟糕,而且这种状况已经持续了一段时间,原因就是激励机制的完全错位。

情况到底有多糟?2023 年,学术期刊撤回的科研论文数量已超过一万篇[2],刷新了世界纪录。令人不安的是,19 家期刊因为“虚假研究”的泛滥而被迫停刊——这些由“论文工厂”所制造的“科学成果”无异于“标题党”。此外,某位科学家一人名下就有213篇撤稿,成为当前的“纪录保持者”。

“数字不会说谎:科学出版正面临严重问题,而且形势愈发严峻。” 奥兰斯基和“撤稿观察”的联合创始人亚当·马库斯(Adam Marcus)在最近为《华盛顿邮报》撰写的一篇评论文章[3]中写道。“出版商一直需要对伪造或有缺陷的研究保持警惕,但近年来,可疑材料的数量之多,已经让他们感到力不从心。”

理想状态下,同行评审能够确保科学思想接受领域中最具洞察力的专家的审视和质疑;而最坏的情况则是,如批评者所言,同行评审系统早已千疮百孔,亟需一次如实的自我审查。

在线教育网站Inside Higher Ed在2022年的一篇文章[4]中深入剖析了同行评审的困境,直指这场危机“比以往任何时候都要严重”,并探讨了专家们提出的各种可能对策,包括:为评审人所付出的时间和专业知识支付报酬、将同行评审纳入工作职责、优化“修改并重投”流程,以及强制要求论文提交者也评审其他作者的论文。

昆尼皮亚克大学的JT·托雷斯(JT Torres )在 The Conversation 上撰文[5]指出:“同行评审在理论上是可行的,但问题是,审稿人是否能获得足够的支持,有效完成这项工作。”

奥兰斯基指出了一个根本性的供需问题:论文数量庞大,而愿意且有能力审稿的人却非常有限。

“论文数量太多,根本不可能一一评审,”他说。“我们来算一算:每年有 300万篇需要同行评审的论文发表,每篇论文需要 2~3 位审稿人,每位审稿人又要花费4~8小时……这样算下来,根本无法实现。可即便如此,我们仍然执着于这种不切实际的幻想,认为同行评审总能确保论文质量。”

2013 年发生的“谁害怕同行评审?”[6]事件揭示出同行评审体系的脆弱性。事件的起因是:科学记者约翰·伯南(John Bohannon)炮制了一篇胡编乱造的论文(他将其形容为“科学版的填空游戏”),并向各类期刊投稿,结果显示, 255家“付费出版”的开放获取期刊中竟有 157 家接受了这篇论文,接受率高达 60%。

“撤稿观察”网站还发现了一个令人担忧的新趋势[7]:有越来越多论文的部分内容甚至全文实际上是由 ChatGPT 等AI工具撰写和审阅。许多已发表的论文无意中保留了AI生成短语,比如“重新生成回复”(regenerate response),这说明一些作者和审稿人在复制粘贴AI文本时,忘记及时删除这些痕迹。

500

图源:FirstPrinciples

奥兰斯基指出,这些现象仅仅是困扰同行评审的表象,背后其实隐藏着更深层的问题。而这个问题的产生,源于对排名的盲目追求。

“人人都想排名第一。无论是期刊、大学、研究人员还是政府,无不如此。要想排名靠前,真正需要的就是论文引用量。而要想论文被引用,你就必须先发表。”

“不发表就出局”已不再只是年轻学者追求终身教职的口头禅,它已经演变为一个日益残酷、由利润驱动的行业现实。”

奥兰斯基与共同作者在医学杂志 BMJ 中写道[8]:“一些人正在以愈发巧妙的方式操控论文引用。比如,有的作者和编辑会组成“引用联盟”,相互引用对方的论文,虚增引用量;有的公司抢注失效域名冒充正规期刊,欺骗不知情的学者;而有的学者则深谙其中门道,利用这一漏洞为自己的论文增加引用。”

甚至还有“引用中介”存在,购买者可以付费将自己的名字列入科学论文的作者名单,即便他们实际上与这项研究毫无关系。

尽管揭露出这些令人震惊的内幕,但奥兰斯基依然相信同行评审的价值,并希望通过多种方式完善这一机制,包括:赋予监管机构“更多实权”来预防和惩罚滥用行为;取消“付费出版”模式;鼓励期刊公开同行评审过程,从而提升透明度;不再以引用数衡量学术排名。

整个同行评审过程同样需要其所倡导的公正审查和建设性批评。

奥兰斯基总结道:“科学依然是推动知识进步、揭示真理的最佳方式,科学方法可以说是人类最伟大的发明。但我们也要清醒地认识到,科学家也是人,也会犯错。我们不妨将同行评审看作一个虽有缺陷、却依然管用的“过滤器”。

参考资料

[1]https://retractionwatch.com/

[2]https://www.nature.com/articles/d41586-023-03974-8

[3]https://www.washingtonpost.com/opinions/2024/06/11/scientific-journals-retractions-paper-mills/

[4]https://www.insidehighered.com/news/2022/06/13/peer-review-crisis-creates-problems-journals-and-scholars

[5]https://theconversation.com/peer-review-isnt-perfect-i-know-because-i-teach-others-how-to-do-it-and-ive-seen-firsthand-how-it-comes-up-short-222445

[6]https://www.science.org/doi/10.1126/science.342.6154.60

[7]https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/

[8]https://www.bmj.com/content/382/bmj.p1887

本文经授权翻译自FirstPrinciples,原文地址:

https://www.firstprinciples.org/article/is-peer-review-failing-its-peer-review

500

特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“,可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号,回复四位数组成的年份+月份,如“1903”,可获取2019年3月的文章索引,以此类推。

版权说明:欢迎个人转发,任何形式的媒体或机构未经授权,不得转载和摘编。转载授权请在「返朴」微信公众号内联系后台。

站务

最近更新的专栏

全部专栏