■李江
1982年,来自美国北达科他大学的Douglas P.Peters和来自康奈尔大学的Stephen J.Ceci 做了一项实验,我们不妨称之为“重复投稿实验”,非常精彩,以至于我希望有人能把这个实验写进某本教科书。论文题目是Peer-review practices of psychological journals:The fate of published articles,submitted again。在这个实验中,他们从12本知名心理学期刊上挑选了12篇美国知名心理学系发表的论文,删除论文中的作者与机构,编造了新的机构名称和作者姓名,然后投稿至这12篇论文原本发表的期刊,结果,8篇论文被拒了,理由竟然都是方法存在严重缺陷。
作为科学守门人的期刊编辑和审稿人竟然如此靠不住?且慢,总感觉哪里不对。
原文中的机构是知名机构,原文中的作者是知名作者,而重新投稿的论文中的机构和作者姓名是瞎编的,审稿人在审稿的时候会不会受机构与作者的声誉影响?
有可能,因为这12本期刊都是单盲审稿制度,也就是说,审稿人知道作者是谁,但作者不知识审稿人是谁。
那么,论文质量就那么不重要吗?有没有可能不是质量问题,而是之前的审稿人水平太差,让这些论文得以发表,重复投稿时,正好遇到的审稿人水平都比较高?
不太可能。如果审稿人的水平(分高、低两种)是随机分布的,那两次审稿过程中低—高组合的概率是1/4,也就是说,重复投稿的论文有25%的概率会因为审稿人的水平变化被拒,但实际结果是12篇论文中有3篇被编辑和审稿人发现是重复投稿,另外9篇送审之后,8篇被拒了,这概率也太高了。
有没有可能不是质量的问题,而是审稿人其实读过或者听过这些论文,审稿的时候虽然没发现是重复投稿,但不觉得这些论文贡献了新知识,所以就拒稿了?
同样是不太可能。两位试验者Peters和Ceci查阅了拒稿意见,发现几乎所有审稿人都认为方法存在严重缺陷,而没有审稿人认为“内容太老”“没有贡献新知识”“相似研究已经有人做过了”等等。
有没有可能不是质量的问题,而是两次投稿时间间隔太久,科技的发展把老的论文淘汰了,所以重复投稿时,审稿人一眼就看出过时了?
不太可能。Peters和Ceci在挑选样本的时候,特意选了在过去18~32个月之间发表的论文,这个领域(心理学)、这些论文不至于让审稿人一看就觉得太老。
为什么审稿系统发现不了重复审稿?因为1982年可能还没有审稿系统,1982年更没有抄袭检测系统。
为什么审稿人发现不了重复投稿?有没有可能是这9篇论文水平太差,审稿人根本不会读到?
不太可能。因为Peters和Ceci在挑选样本的时候,特意选了心理学领域12本知名期刊,同时,这12篇论文的被引次数都在期刊的平均水平以上。
如果这就是同行评议的真相,我们可以做些什么?Peters和Ceci提出的建议如下:
1.建立数据库。Peters和Ceci在1982年时一定没想到,他们关于建立computer bank (原文的用词)的想法后来被叫做database,这一点,现在的审稿系统已经实现了,同时,审稿系统里的抄袭检测功能让重复投稿无法实现。
2.建立对审稿人的评价机制。Peters和Ceci认为可以让作者根据审稿意见对每一位审稿人的水平(是否公正、是否认真、是否具有建设性)进行评价,尽管作者不知道审稿人是谁,但评价结果主编和编辑可以看到。40年过去了,这一机制仍然没有实现。
3.建立开放同行评议制度。这真是惊为天人。让论文连同审稿意见和作者回复一起发表,这难道不是Nature Communications等少数期刊倡导并实践的Open Peer Review吗?原来这一想法40多年前就被提出来了,他们的用词是Open Peer Commentary,1979年由Stevan Harnad首次提出,文章值得被记住,标题是 Creative Disagreement。
http://blog.sciencenet.cn/u/ZJUlijiang
《中国科学报》 (2021-04-01 第8版 博客)