一个好的研究者，要避免自欺欺人的实验，要对科学研究保持敬畏之心，要为实验的再现性尽自己的一份力量。每个研究项目资助两个团队：一个致力于科学研究，另一个致力于实验的可重复性，即影子科研团队。

2月25日，国际顶刊《Nature》发表社论[1]，鼓励重复性研究和无效结果！并表示更多的资助者和出版商应该支持这样的工作，并重视它们给科学研究带来的价值。3月12日出版的《Nature》发表最新评论，再次强调“可重复性试验”的重要性[2]。美国海军研究实验室生物物理学家Marc P. Raphael教授表示，近三年以来，美国国防部高级研究计划局（DARPA）每个研究项目资助两个团队：一个用于研究，另一个用于实验可重复性，这种模式的好处正日益凸显。

2016年，DARPA通知八个研究团队，他们的项目申请已经通过了审查，不久将获得数百万美元资助。但是除了祝贺，每个研究团队还收到了一个重要提示，即：将会有一个独立的“影子团队”负责重现他们的实验结果。

每个影子团队由三到五名研究人员组成，且经常参观研究团队的实验室。研究经费的3%~8%是用于这种独立的验证-核查（IV＆V）工作。DARPA有权利灵活地评估研究方案。在特殊情况下，IV＆V实验室需要20万美元的设备装置来进行准确的评估。这些成本很高，但这是避免浪费纳税人的钱，并推动基础研究朝着有益方向发展的必不可少投资。下面概述了实施这一方案所获得的经验，以及如何更广泛地应用它。

已经取得的经验

实际上，研究者希望他们的工作受IV＆V流程的约束，在该流程中，研究团队的实验结果得到了来自另一组研究人员的测试。例如，微处理器或导航软件是否按预期工作；25年前美国NASA的IV＆V项目成立，大约有300名员工在测试代码和卫星组件。

在常规电子产品中，IV＆V主要负责例如晶体管，二极管，电容器和振荡器等基本结构；电子行业竭尽全力促进这些基本元件在平台之间的兼容性。这使得为电子和软件开发服务的IV＆V方法变得复杂。而且，越来越复杂的生物工程工具使细胞生物学实验变得更加复杂，因此彻底的重复性实验验证可能需要数月甚至数年才能完成。

取而代之的是，生物学依赖其他可靠性较低的技术来实现可重复性。最长久的假设是，随着不同的研究人员致力于相关问题，可重复性研究将有机地进行。在过去的五年左右的时间里，资助机构和期刊对资助项目和已提交的手稿实施了更为严格的实验报告和数据提供要求。同时，一些文章试图重复一些已发表的结果。然而，陷阱仍然存在。科学家可能会浪费资源以尝试重复未经证实的技术。

工作模式

受到资助的研究团队从一开始就被告知，他们将与IV＆V团队配对，该团队由DARPA雇用并由向DARPA负责的无偏见的第三方科学家组成。在此计划中，依靠美国国防部实验室，并根据其技术能力和解决问题的能力选择特定团队。为了适应IV＆V的概念，需要保证重复性研究团队不会窃取点子或发表论文。研究人员甚至需要在提交同行评审之前就习惯接受调查，因为配合“影子团队”是项目的一部分要求。截止目前，该项目的实验结果普遍具有较高的重现性。将来，最重要的一点是将可重复研究工作与论文初稿一同提交，并作为补充材料进行发表。

有些发现可以标记为不可重复，因为可用于进行验证的资源太少了。尤其是当结果接近理想状态时，向同行评阅者和编辑说明有一个“影子团队”已经证实了这一结果就显得很有帮助。到目前为止，一项由研究者和IV＆V团队共同出版的文章已被接受[3]，另外两篇即将提交。尽管如此，实现这一点仍然比预期的要困难。它要求密切的协调，沟通和对细节的关注。

成功地将可重复性研究与基础研究相结合，需要实验室和项目主管（PES）之间保持一定程度的协调，而这是我们从未经历过的。项目主管与每个项目团队合作，根据研究结果的影响程度和应用状况来判断哪些结果需要进行验证。

通常，如果想要重复另一个实验室的结果，研究人员最多花约一个月的时间，而且可能尝试3~4次还没成功就会放弃。而“影子团队”则要求有能力的研究小组投入更多的时间（在一个案例中为20个月），并且可以灵活地跟踪实验进展。DARPA资助的项目最终研发出来的技术要求是大众广泛使用的。因此，除了评估技术是否有效之外，IV＆V团队还必须评估其稳健性。另外，实现验证意味着有效沟通。研究者，特别是那些有多个主要研究人员的团队，必须指定一个人来促进研究进程。两个团队每年至少两次共同出席项目讨论。

IV＆V团队工作的关键组成部分是花一天或更多的时间与实验团队在实验室中合作。通常，实验室的成员也会去IV＆V实验室。与阅读论文相比，这些互动可以更好地掌握方法论，从而经常揭示出可能影响结果的因素。

实时合作能够最大程度地减少或避免已知问题，及时发现实验中存在的问题，更加有利于实验的发展。如果没有这些努力，一些有前途的技术可能会被视为死胡同而被过早地抛弃。

优势所在

作者认为IV＆V计划带来的好处不只是重复某个项目。现在，有一套程序可以使对不同结果的调查更加透明。进行重复性研究总是迫使科学家更深入地思考他们的实验方案和技术。正如一位科学家所说，“IV＆V迫使研究者更严格地考虑什么才是成功的实验，并促进对整体性能和局限性的讨论。” IV＆V团队已经获得了进一步的优势。例如，由于实验室的科研人员在论文发表之前就已经精通新技术的思维方式和方法，因此他们有充分的能力将各种实验结果集成到他们的产品中，从而预测该领域的未来方向，并将研究更快地应用于实际应用中。

目前，越来越多的研究机构和资助机构倾向于IV＆V模式，这将带来更可靠和更具成本效益的科学研究。同时其他资助机构应考虑将部分资金分配给独立的可重复性工作，即影子科研团队。这既可以减少数据无法再现的论文数量，又可以提高资助机构的工作质量。但这需要建立一套严格的度量标准，以将该模型应用于各个领域的研究。

影子科研团队，既是一种监督，更是一种促进！

文：Caspar。参考文献：

[1] Nature 578,489-490 (2020)

[2] Nature 579, 190-192 (2020)

[3] Ames, C. L. et al. Commun. Biol. 3, 67 (2020).

本文来自微信公众号“材料科学与工程”。欢迎公众号友好转载，未经许可谢绝转载至其他网站。