30 封邮件才找到 1 个审稿人:AI 正在压垮同行评审

德梅因大学健康经济学家杰森·森普里尼(Jason Semprini)曾对一项研究成果颇为兴奋。他考察了要求小学生接种 HPV 疫苗的强制政策,发现这类政策对降低人群整体宫颈癌发病率的作用并不明显。结论有些反直觉,但也不算意外——强制接种有时反而会促使一部分人想办法规避。

论文投出去后,唯一一位审稿人误读了核心论点,把「评估政策有效性」理解成了「质疑 HPV 疫苗本身能否预防宫颈癌」。森普里尼说:「这两者差别非常大。」通常一篇论文会由两到三位专家评审,某一位理解偏了,其他人可以补位。但这次只有一位审稿人,稿件被直接拒绝。

这类经历正变得越来越常见。同行评审被森普里尼称为「科学的基石」,而眼下,「它并不牢固」。

论文越来越多,愿意审的人越来越少

各个学科的论文发表量都在稳步攀升。Scopus 与 Web of Science 收录的论文数量近年呈指数级增长,年增速达 5.6%。有估算认为,全球研究者每年为同行评审投入的工作量总计约 15000 人年——如果按劳付酬,仅美国承担的那部分就价值 15 亿美元。这样的时间成本,越来越多人捐不起了。

《Human Immunology》期刊编辑、加州大学旧金山分校免疫遗传学家史蒂文·麦克(Steven Mack)说,他最近为一篇论文发了大约 30 封邮件,才找到一位愿意评审的研究者。而在五年前,找齐三位审稿人只需要发 5 到 10 封。

供给端同样吃紧。怀特黑德研究所微生物学家塞巴斯蒂安·卢里多(Sebastian Lourido)估计,他每月收到约 10 次审稿邀请,而现实中只有时间处理一两次。麦克本人则是每一两天就会收到一次邀约。在这种局面下,编辑把稿件派给专业不对口、或者根本没时间细看的人,几乎成了必然。

供稿量激增只是原因之一。1960 年至 2020 年间期刊数量本身就在膨胀,不少期刊定期推出「专刊」并向研究者定向约稿;许多期刊转为纯线上出版后,编辑不再受纸张页数限制,发稿量随之上升。跨学科研究增多,也意味着单篇论文需要更多知识储备和更长的评审时间。

AI 在两端同时加码:一方面让研究者写论文更省力,另一方面也让全球更多非英语母语的研究者能够向英文期刊投稿。此外还有所谓「论文工厂」——向急于发表的研究者收费,把他们的名字挂到编造出来但表面上颇为规整的论文上。

Wiley 旗下《Learned Publishing》编委会成员哈西卜·伊尔凡努拉(Haseeb Irfanullah,其言论仅代表其独立顾问身份)直言:「我有时候觉得,我们该谈谈出版业的减量增长了。它长得太快,太不健康了。」

AI 研究者干脆绕开了期刊

内容爆炸的压力,AI 领域感受得最直接。计算机科学论文通常发表在会议论文集上,而顶级 AI 会议的投稿量自 2019 年以来增长了 2 到 10 倍。加州大学圣巴巴拉分校计算机科学家郑慧媛(Haewon Jeong)说,收到「根本不够了解这个领域、给不出有效反馈」的评审意见已属常态。

这个领域恰好有条件另起炉灶:学科年轻、迭代极快,大量工作发生在学术界之外,许多研究者的职业发展并不依赖正式发表。于是博客火了起来。「现在经营一个好博客,几乎相当于做一档好播客,」郑慧媛说,「你的声音会被大幅放大,也更容易被人知道。」

写博客的不只是业界人士。Flatiron 研究所的 AI 研究员海伦·曲(Helen Qu)厌倦了会议投稿这种回报寥寥的消耗,决定今后只在自己的新博客上发布研究。运行多年的 AI Alignment Forum 则由一个关注 AI 安全的研究者社区共同撰写,用点赞、点踩加评论的机制取代同行评审。

运营该论坛的 Lightcone Infrastructure 首席执行官奥利弗·哈布里卡(Oliver Habryka)承认,无法保证投票者认真读过内容,「这是它最大的弱点之一」。但优势也很明确:速度快得多——「等你的东西通过同行评审,很有可能已经过时了」;投票机制还会把优质研究和针对它的反驳意见一并推到读者面前,而不必依赖社交平台那套不透明的推荐逻辑。哈布里卡说:「我真的不希望我所在领域的注意力被推特算法牵着走。」

反对声同样存在。范德比尔特大学哲学家戴维·索斯塔德(David Thorstad)担心,通俗化的写作可能牺牲严谨性,让善于表达的人凭风格而非质量获得关注。他本人只在采用同行评审的场所发表,结果是无法引用本领域相当大一部分工作,「限制非常大」。不过哈布里卡认为情况已经缓和:「在机器学习论文里,你真正想引用的东西,经过正式同行评审的可能不到一半。」

用 AI 审稿:省时间,也踩坑

Frontiers 系列期刊工作人员的一项调查显示,超过半数的审稿人已经在流程中以某种方式使用 AI。

但眼下的用法常常让人不适。莱顿大学语言学家马林·范普滕(Marijn van Putten)收到一条审稿意见,建议他引用一份中世纪阿拉伯文手册。他起初很兴奋:「我当时想,太好了,我这就去查!」结果遍寻不着,花了两天才意识到另一种可能——这条引文是 AI 编造的。回头再看,那段文字确实带有 AI 生成的痕迹,比如破折号用得毫无必要,检测工具也判定几乎可以确定出自 AI。「非常令人沮丧,纯粹是浪费时间。」

除了幻觉风险,把未发表稿件上传给可能留存数据的聊天机器人,还可能构成保密违规——新墨西哥理工学院哲学家克里斯·乔格卢克(Chris ChoGlueck)这样提醒。本地运行的大模型或承诺不留存数据的服务可以规避,但这要求一个已经在走捷径的人同时保持足够的谨慎。

改良的尝试正在铺开。NeurIPS 会议今年将试点一款定制 AI 工具,用于帮助审稿人理解投稿、完成背景调研,但不代写评审意见。预印本已在部分领域被接受为申请经费和职位的合法依据。也有人主张给审稿人付酬,有证据显示每篇 100 至 300 美元的报酬能加快流程且不损质量——乔格卢克认为,加入报酬会让截止日期「真的成为硬期限」,否则很多人会觉得期限是「有魔法的,反正可以改」。

更结构性的方案是把评审与投稿解绑:由研究者社群先评审论文,再由承诺认可这一流程的期刊择优刊发;第一家不收,作者可以直接找第二家,不必重来一轮。学术传播倡导者卡梅伦·尼伦(Cameron Neylon)则更进一步,质疑是否每篇期刊论文都真的需要评审。

这套制度会彻底崩塌吗?考虑到它同时绑定着职业晋升与公众信任,全盘弃用很难想象。但若发表量继续按当前速度增长,系统显然撑不住。尼伦的判断是:「某个地方总会先断掉。」

变化的迹象已经出现:免疫学领域的平均审稿人数正从三位向两位靠拢,部分经济学期刊已开始付费,预印本在多个学科成为常规操作。同行评审大概率会以某种形式延续下去,只是未必还是人们熟悉的那个样子。

来源:Ars Technica