本报讯 一个由50多个研究团队组成的联盟对巴西的生物医学研究进行了调查,以复核他们的研究成果,然而得出的结论令人担忧。近日,相关结果公布于预印本服务器bioRxiv。
据《自然》报道,这些团队只能复制不到一半的实验结果,这一比例与其他大规模复制科学发现的研究结果一致。但研究团队表示,这项最新研究的独特之处在于,关注使用特定方法的论文,并检查一个特定国家的研究产出。
这项大型实验由巴西“可重复性计划”组织,后者是巴西里约热内卢联邦大学(UFRJ)研究人员于2019年发起的合作项目。最终,巴西56个实验室的213名科学家参与了这项工作。
研究人员首先对随机抽取的生命科学论文进行回顾,以确定巴西研究者最常用的生物医学研究方法,从而确保加入该项目的生物医学实验室都能够重复这些实验。研究人员最终选择了3种方法——细胞代谢测定、遗传物质扩增技术和啮齿类动物迷宫测试。随后,他们随机选择了依赖于这些方法的生物医学论文,后者发表于1998年至2017年间,至少有一半的作者与巴西有关。
研究人员根据论文是否包含某些统计信息等因素,选择了60篇论文的一部分进行重复。3个实验室对每个实验进行了测试,一个独立委员会判断哪些测试是有效的。该联盟对47项实验进行了97次有效的重复实验。
作者根据5项标准判断论文的可重复性,比如,是否至少有一半的复现具有与原始论文相同的统计结果。研究显示,只有21%的实验可以在“至少一半”的适用标准下复现。
研究还发现,原始论文的效应值(实验中观察到的效应大小)比后续实验平均高出60%,表明已发表的结果往往高估了所测试的干预措施的效果。此外,变异系数(衡量数据相对平均值的变异程度)在原始研究中比复现研究低60%,意味着原始论文中的数据表现更好。项目协调员之一、UFRJ的医生Olavo Bohrer Amaral说,这可能表明作者选择性地报告了更有利的结果,或者对不一致的数据的代表性不足。
Amaral说,这个结论可能看起来令人震惊,但与之前的复现工作结果一致。例如,2011年启动的一项具有里程碑意义的工作会集了270名科学家,试图复制98篇心理学论文的结果,最终只成功重复了36%至47%的原始研究结果。
巴西圣保罗大学的生物化学家Guilherme Menegon Arantes认为,很难重现实验结果并不一定意味着错误或科研不当行为,也不意味着巴西的科学研究比其他国家差。他说,结果“可能反映了实验设计的局限性、方法记录不完善或实验室之间的自然差异”。
尽管如此,巴西坎皮纳斯州立大学的生物学家Marcelo Mori认为这项研究还是敲响了警钟。“低复现性凸显了我们生产、记录和传播科学的方式的结构性弱点。”他认为,解决这些问题需要采取行动,比如数据和协议的开放共享。(文乐乐)
《中国科学报》 (2025-05-06 第1版 要闻)