在一项史无前例的工作中，一个由 50 多个研究团队组成的联盟对巴西的生物医学研究进行了调查，以复核其研究成果。近日，相关研究结果公布于预印本服务器bioRxiv，结果令人担忧。

据《自然》报道，这些团队只能复制不到一半的实验结果。这一比例与其他大规模科学发现复制研究的结果一致。但研究团队表示，这项最新研究的独特之处在于，它关注使用特定方法的论文，并检查一个特定国家的研究产出。

研究者表示，这一结果为加强巴西的科学研究提供了动力。“我们现在有了从内部开始改变的理由——无论是通过公共政策还是从大学内部。”该项目的协调员之一、巴西里约热内卢联邦大学（UFRJ）的元科学研究员Mariana Boechat de Abreu说。

这项大型实验由巴西“可重复性计划”协调，后者由UFRJ的研究人员于 2019 年发起的一项合作项目。de Abreu说，科学家希望“根据方法，而不是研究领域、感知到的重要性或引用次数”来评估出版物。最终，巴西56个实验室的213名科学家参与了这项工作。

研究人员首先回顾了随机抽取的生命科学论文，以确定巴西研究者最常用的生物医学研究方法，从而确保任何有兴趣加入该项目的生物医学实验室都能够重复这些实验。

他们最终选择了3种方法：细胞代谢测定、遗传物质扩增技术和啮齿类动物迷宫测试。然后，它们随机选择了依赖于这些方法的生物医学论文，这些论文在1998年至2017年间发表的，其中至少有一半的贡献者与巴西有关联。

研究人员根据论文是否包含某些统计信息等因素，选择了60篇论文的一部分进行重复。3个实验室对每个实验进行了测试，一个独立委员会判断哪些测试是有效的复现。该联盟对47项实验进行了97次有效的重复实验。

作者根据5项标准判断论文的可重复性，比如，是否有至少一半的复现尝试具有与原始论文相同方向的统计显著结果。结果只有21%的实验可以在使用“至少一半”标准的情况下进行复现。

研究还发现，效应值——实验中观察到的效应大小，在原始论文中平均比在后续实验中高出60%，这表明已发表的结果往往高估了所测试的干预措施的效果。

此外，变异系数（衡量数据相对于平均值的变异程度）在原始研究中比在复现中低 60%，这意味着原始论文中的数据表现更好。项目协调员之一、UFRJ的医生Olavo Bohrer Amaral说，这可能指向选择性报告更方便的结果，或者对不一致的数据的代表性不足。

Amara说，这个结论可能看起来令人震惊，但与之前的复现工作结果一致。例如，2011年启动的一项具有里程碑意义的工作汇集了270名科学家，试图复制98篇心理学论文的结果。他们只成功重复了36%至47%的原始研究结果。另一项复现癌症研究实验室发现的工作显示，在23篇高影响力论文中，能成功重复的不到一半。 

巴西圣保罗大学的生物化学家Guilherme Menegon Arantes认为，重现实验结果困难并不一定意味着错误或不当行为，也不意味着巴西的科学研究比其他国家差。他说，结果“可能反而反映了实验设计的局限性、方法记录不完善或实验室之间的自然差异”。

巴西坎皮纳斯州立大学的生物学家Marcelo Mori对此表示赞同。“在生命科学中，精确复制实验尤其具有挑战性。”他说，“当暴露于温度、饮食、微生物群或培养基成分等环境变化时，啮齿动物和细胞培养物等生物体的反应可能会有所不同。”他补充说，抗体等试剂也可能有批次间的差异。

尽管如此，Mori说这项研究还是敲响了警钟。他说：“低复现性凸显了我们生产、记录和传播科学的方式中的结构性弱点。”他认为，解决这些问题需要采取行动，比如数据和协议的开放共享。