图片来源:DAVIDE BONAZZI
本报讯 8年前,一个雄心勃勃的项目开始尝试重复顶级癌症实验室的研究结果。现在,这个名为“可重复性项目:癌症生物学”(RP:CB)的项目报告说,当它试图重复从23篇高影响力论文(约10年前发表)中选取的实验时,只有不到一半得到了类似的结果。
这项研究的联合组织者、美国开放科学中心执行主任Brian Nosek说,这些发现“对临床前癌症生物学的可信度提出了挑战”。
他和其他相关专家认为,该项目表明,作者需要分享更多实验细节,以便其他人能够尝试重复实验。12月7日,该团队在eLife的两篇论文中透露,项目最初设下的目标是,在53篇论文中选取30篇,对其实验进行重复,但模糊的协议、不合作的作者以及其他问题,最终阻碍了这一目标的达成。
开放科学中心和科学交流公司在2013年设立了RP:CB项目,因为此前2家制药公司报告称,它们无法再现许多已发表的临床前癌症研究。项目目标是重复2010年至2012年间《科学》《自然》《细胞》等期刊发表的基础癌症生物学顶级论文中的关键工作。
在某一基金会的资助下,组织者设计了由eLife进行同行评审的复制研究,以确保能完全地模拟最初的实验。实验的操作由与其签署合同的公司或学术服务实验室进行。
工作人员很快遇到了问题——所有的原始论文都缺乏源数据、协议、统计代码和试剂来源等。当他们联系原作者询问上述信息时,许多作者花了几个月时间回溯这些细节。只有41%的作者非常“乐于助人”,而约有1/3的作者拒绝或没有回应。实验开始后,其他问题随即浮出水面,例如,肿瘤细胞的行为与基线研究的预期不符。
该项目最终将最初列出的53篇论文(包括193个关键实验)缩减为23篇论文(包括50个实验),并完成了其中18篇论文的所有实验重复,以及其余论文的部分实验重复。从2017年开始,每一项完成的结果都已发表(大部分发表于eLife),实验总耗资150万美元。
只有5篇论文的结果可以完全重复,其他重复实验产生了混合的结果,有些是阴性或不确定的。总体而言,在112个报告的实验效果中,只有46%至少符合5个重复标准中的3个,例如同一方向的变化——促进癌细胞生长或肿瘤萎缩。值得注意的是,重复实验的变化幅度通常要小得多,平均只有最初结果的15%。
美国国立卫生研究院(NIH)负责外部研究的副主任Michael Lauer表示,这些发现“非常重要”。同时,Lauer强调,较低的效应量并不令人惊讶,因为它们“符合发表偏倚”,即最显著和最积极的效应最有可能被发表。Lauer说,这些发现并不意味着“所有的科学都不值得信任”。
项目相关负责人建议,资助者和期刊应该在要求作者更多分享其方法和材料上有所作为。“大家都认为,重复这些实验实在是又慢又难。”科学交流公司首席执行官Elizabeth Iorns说,“如果数据、实验方案和试剂都是现成的,实验应该可以完成得非常快。”
Lauer表示,NIH将于2023年1月启动的数据共享新规则应该会对此有所帮助。
(文乐乐)
相关论文信息:
https://doi.org/10.7554/eLife.71601
https://doi.org/10.7554/eLife.67995
《中国科学报》 (2021-12-09 第1版 要闻)