给一群科学家同样的数据和同样的研究问题，理论上他们应该会得出相似的答案。但根据一项近日发表于《BMC生物学》的研究，事实并非如此。该研究发现，246名生态学家在分析相同的数据集时得出了截然不同的结论，有些人甚至发现了完全相反的效果。

246名生态学家获得了关于蓝山雀雏鸟生长的相同数据，并得出了不同结论。

图片来源：DAVID TIPLING/NPL/MINDEN

  ?

这篇论文是“多分析师”项目的最新成果，该项目旨在研究科学家在数据分析过程中做出的决策如何导致结果的差异，这也是首次在生态学领域进行此类研究。未参与项目的瑞士伯尔尼大学的元科学家Ian Hussey表示：“我对这项研究感到非常兴奋。”他说，过去的研究主要集中在心理学和其他行为科学领域。“我注意到其他领域有一种傲慢，认为自己的领域更加有序。”

澳大利亚墨尔本大学的博士生Elliot Gould对生态学是否更加规范持怀疑态度。他表示，生态学家处理的是包含大量自然变化的复杂系统，他们必须就运行哪种统计分析做出许多决策。为了解这些决策对结果的影响有多大，Gould和同事招募了246名生态学家，组成174个团队，基于相同的数据集回答两个不同的研究问题。

第一个问题是蓝山雀雏鸟的生长如何受到巢中兄弟姐妹竞争的影响。分析团队从牛津郡林地的452个蓝山雀巢中获得了相同的数据，但得出了各种各样的答案。5个团队发现育雏数与雏鸟的大小没有关系，5个团队得出了混合结果，64个团队发现如果雏鸟有更多的兄弟姐妹，它们的生长速度会更慢，但确定性和效应大小各不相同。

第二个研究问题的结果差异更加显著。Gould和同事向分析团队提供了来自澳大利亚18个地点的数据，这些地点正在参与一个在农田上恢复多种桉树物种的项目，并要求他们确定草覆盖率是否会影响幼苗的栽种成功率和存活率。分析这些数据的团队完全没有达成一致：18个团队认为更多的草皮覆盖阻碍了桉树的存活，6个团队表示这提高了存活率，而31个团队发现草皮没有影响。

欧洲商业管理学院的组织心理学家Eric Uhlmann表示，这些发现与之前的“多分析师”研究结果一致，并显示了“研究人员主观选择在科学项目中的强大作用”。Uhlmann于2018年与人合作了第一个此类心理学项目。

Gould表示，在某些情况下，有既定的最佳实践来指导分析人员，但其他选择则更加随意。例如，研究人员必须决定控制哪些变量以及如何处理缺失数据。 

匈牙利罗兰大学的科学家Balazs Aczel表示，仅通过一两个例子无法知道这个问题是否会影响整个领域。为找出答案，他正在开展一个项目，让多名分析师分别解决从100篇随机选择的社会科学论文中提出的问题。但他表示，类似的结果已经在神经科学和经济学等多个领域出现，这表明“我们正面临一个非常严重的问题”。

并非所有研究人员都认为这些发现令人担忧。Joe Bak-Coleman是一名受过训练的生态学家，现在是德国康斯坦茨大学的计算社会科学家，他表示，这类研究要求科学家分析他们特定专业领域之外的数据。然而，专业知识在选择分析方法方面起着重要作用。他举例说，熟悉蓝山雀的科学家会更清楚应该进行哪些分析。他补充说，尽管如此，许多分析师研究表明，跨领域的研究人员可以从更好的分析培训中受益。

荷兰乌得勒支大学的元科学家Anne Scheel表示，“多分析师”项目的研究结果并不意味着生态学和心理学等领域无法得出可靠的结果。这些领域倾向于提出模糊的问题，给研究人员留下很多选择，而“多分析师”研究通常也会提出这样宽泛的问题。但她表示，这个问题可以通过更精确的方法来解决。“一些学科似乎在困难问题达成共识方面更成功。”她说，“我认为这与定义的精确性有关。”

相关论文信息：https://doi.org/10.1186/s12915-024-02101-x