哪些因素影响了实证结果的可再现性？

👇 连享会 · 推文导航 | www.lianxh.cn

• 🍎 Stata：Stata基础 | Stata绘图 | Stata程序 | Stata新命令
• 📘 论文：数据处理 | 结果输出 | 论文写作 | 数据分享
• 💹 计量：回归分析 | 交乘项-调节  | IV-GMM | 时间序列 | 面板数据  | 空间计量 | Probit-Logit | 分位数回归
• ⛳ 专题：SFA-DEA | 生存分析  | 爬虫 | 机器学习 | 文本分析
• 🔃 因果：DID | RDD | 因果推断 | 合成控制法 | PSM-Matching
• 🔨 工具：工具软件 | Markdown | Python-R-Stata
• 🎧 课程：公开课-直播 |  计量专题 | 关于连享会

连享会 · 2022 面板数据因果推断专题

连享会 · 2022 空间计量专题

作者：章青慈 (中央财经大学)
邮箱：Quincy_zqc@163.com

编者按：本文主要摘译自下文，特此致谢！
Source：Pérignon C, Akmansoy O, Hurlin C, et al. Reproducibility of Empirical Results: Evidence from 1,000 Tests in Finance[J]. Available at SSRN, 2022. -PDF-

温馨提示： 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码，直达原文：

目录

• 1. 文章简介

• 2. 数据和实验设计

• 2.1 数据来源

• 2.2 研究团队工作

• 2.3 量化实证结果的再现性

• 2.4 识别再现性的影响因素

• 3. 主要结论

• 3.1 确定再现性的影响因素

• 3.2 预期的再现性和挑战

• 4. 总结

• 5. 相关推文

1. 文章简介

再现性 (Reproducibility) 是科研成果的重要要求，但几乎所有计算科学领域都面临再现论文实证结果的难题。这一问题通常是由数据或代码不可得造成的，然而即使所有资源都能够使用，我们也可能无法完全再现研究成果。

本文旨在探究何种因素影响实证结果的再现性。不同于以往研究再现性的工作 (尝试再现发表论文的研究成果)，本文通过分析 168 个国际研究团队针对 6 个相同的金融问题提供的 1000+ 实证答案计算了再现性，研究发现：

• 第一，无论是研究人员的资历，还是研究论文的质量似乎都与实证结果的再现性无关；
• 第二，研究人员对于自身研究的再现性过度乐观，倾向于低估同行复制其结果的困难；
• 第三，对于编程技能较强、在重现方面花费较多心思的研究者，研究结果的再现性更强；对于技术要求较高、实现代码较复杂的问题，研究结果的可再现性较差。

2. 数据和实验设计

2.1 数据来源

本文使用的数据由 Deutsche Börse 数据库提供，数据集包含 2002-2018 年间欧洲斯托克 50 指数的 7.2 亿条交易记录。

2.2 研究团队工作

基于上述数据，168 个研究团队对以下 6 个问题开展研究工作：

• RQ1：市场效率
• RQ2：已实现的买卖价差
• RQ3：客户交易量在总交易量中的份额
• RQ4：客户订单的已实现价差
• RQ5：市场指令在所有客户订单中的份额
• RQ6：客户的总交易收入

对于每个研究问题，团队要计算并报告效应量 (effect size) 和标准误的估计值，并提交结果实现的软件代码，概述再现研究结果的操作步骤。

2.3 量化实证结果的再现性

对于每个研究团队的 6 个研究问题，都要进行再现性水平打分。作者以通用数据集为基础，按照研究团队提供的操作步骤运行计算机代码，并计算 6 个研究问题的效果量和标准误。对于每一个参数，原始结果和再生结果之间的差异若小于原始结果的 10%，可以认为差异很小，大于原始结果的 10% 则认为是差异很大。最后，对于每个研究问题，可重复性得分分布在 0-100 之间，如下表所示。每个研究团队的再现性得分由 6 个问题的得分进行平均得到。

如下图所示，所有研究团队的可重复性得分均值为 63.0，中位数为 83.3。

2.4 识别再现性的影响因素

为了识别再现性的影响因素，本文构建了一个指标集，涵盖了学术研究的六大方面：

• 研究人员的特征和技能
• 研究问题的类型
• 软件
• 计算机代码的复杂性
• 由同行评估的论文质量
• 研究人员为使其结果可再现而做出的努力

下表为前定变量 (pre-determined covariates) 描述性统计，其中 a 标注表示数据记录在研究团队层面，b 标注表示由同行评估所得，* 标注表示该指标为 0-1 二元变量。

下表为共同确定变量 (co-determined covariates) 描述性统计。

3. 主要结论

3.1 确定再现性的影响因素

本文分别对前定变量和共同确定变量进行再现性的逻辑回归：

其中， 表示实证结果再现性的取值 (可完全再现=1，不可完全再现=0)， 是前定变量 (共同确定变量) 的指标矩阵， 是要估计的系数向量。由于再现性的影响因素涉及多个维度，作者对每一类的细分指标进行主成分分析，使用最大的主成分和细分指标分别进行回归。

对于前定变量集的回归 (见下表) 可以发现：在模型 (1) 中，所有变量的联合瓦尔德检验在统计意义上显著，表明这一组前定变量对再现性得分具有一定解释作用。在研究团队的学术水平方面，没有证据表明这一因素对完全再现性有显著的影响。这一结果是令人惊讶的，因为人们通常期望经验丰富且更成功的研究人员能产生更易于重现的结果。

在编程技能方面，相关变量的第一大主成分显著增加了成果再现的可能性；在模型 (2) 中单个系数估计表明，是否使用循环对于再现性的影响较大。在研究问题方面，技术要求较低的 RQ3 和 RQ5 的成果再现性较强，概念抽象且技术要求高的 RQ1 的成果再现性较差。

对于共同确定变量集的回归 (见下表) 可以发现：所有变量的联合瓦尔德检验在统计意义上显著，表明这一组共同确定变量对再现性得分具有一定解释作用，而模型 (4) 的联合瓦尔德检验是不显著的。在论文质量方面，没有证据表明这一因素对完全再现性有显著的影响，这一结果同样是令人惊讶的。

此外，代码复杂程度和计算机文件质量的主成分回归结果均显著，而单个因素则不显著，出现这一情况的可能原因是：主成分占横截面变异性的份额较小。作者认为代码复杂性和文档质量的主成分不能合理地提取到单个维度，这个主成分缺乏现实意义。对单个因素的估计更为合理，缺乏统计证据来拒绝零假设，即代码复杂性和文档质量与计算再现性的可能性无关。

3.2 预期的再现性和挑战

研究团队需要回答关于自身研究结果再现性的两个问题：

• 第一，您认为有可能根据原始数据和计算机代码再现研究您的结果吗？
• 第二，您认为再现研究结果有多大程度的困难？

研究团队的预期和实际再现结果的比较如下图所示：

预期层面：70.5% 的研究团队认为他们的结果是完全可重现的，仅有 29.5% 的团队认为结果会存在差异。94.6% 的研究团队认为再现他们的结果很容易，剩余 5.4% 认为存在一定挑战，没有一个团队认为再现他们的成果是非常困难的。

现实层面：只有 28.3% 的研究结果是完全可重现的，大部分再现结果与原始结果存在差异。仅 62% 团队的研究结果是容易再现的，剩余 38% 团队的研究结果是存在一定挑战、甚至非常困难的。

可见，许多研究人员没有意识到，他们的成果是难以重现的。

4. 总结

本文通过分析 168 个国际研究团队对 6 个研究问题提供的 1000 多个答案，计算了研究结果的再现性。研究发现，可再现性与资历、学术地位、软件、性别或团队结构无关，实际产生影响的是使用循环进行编程、建立主文件夹或准备电子自述文件等。

研究结果的含义：一方面，缺乏再现性是普遍存在的，不仅限于某一类研究人员；另一方面，任何研究人员都可以采取行动，确保其研究实际上是可再现的。换句话说，再现性取决于你做的工作，而不是你的身份。一些提高再现性的简单措施：

• 仔细记录代码；
• 系统地跟踪代码和数据集的不同版本；
• 要求其他人在另一台计算机上运行代码。

5. 相关推文

Note：产生如下推文列表的 Stata 命令为：
  lianxh 重现 复现 再现, m
安装最新版 lianxh 命令：
  ssc install lianxh, replace

• 专题：专题课程
• 直播-我的甲壳虫-论文精讲与重现
• 专题：论文写作
• 连享会：论文重现网站大全
• 论文复现：顶刊JF中的因子分析-谁更容易当CEO？
• 论文重现：外部命令的版本控制
• Stata论文复现：做一个优雅的码农
• Stata论文复现：份额移动法工具变量(Shift-Share IV)
• Stata论文复现：社科领域Top5期刊复现资料
• Stata：论文重现代码模板
• Stata论文复现：女性领导人当选是否有助于更多女性从政-RD
• Stata论文复现：累进税率真的能减少不平等吗？
• Stata-JPE论文重现：资本深化与非平衡经济增长
• Stata 论文复现：Temperature Shocks and Economic Growth
• Stata 论文复现：儿童权利公约对儿童健康的影响
• 可重复性研究：如何保证你的研究结果可重现？
• 专题：Stata资源
• 会计期刊论文的结果可重现吗？
• 专题：数据处理
• 公开重现资料时如何发布涉密数据
• Stata结果重现：dependencies命令-外部命令的版本控制
• 专题：Stata绘图
• Stata绘图：复现组间均值差异图
• 专题：回归分析
• Stata论文复现：高维线性回归的变量筛选-baing-ocmt
• 专题：断点回归RDD
• Stata论文复现：适用于小样本的RDD
• 专题：公开课
• ⏩连享会公开课：论文复现的数据和代码-连玉君

课程推荐：R 语言初级
主讲老师：游万海 (福州大学)
🍓 课程主页：https://gitee.com/lianxh/Rcourse

New！ Stata 搜索神器：lianxh 和 songbl  GIF 动图介绍
搜： 推文、数据分享、期刊论文、重现代码 ……
👉 安装：
  . ssc install lianxh
  . ssc install songbl
👉  使用：
  . lianxh DID 倍分法
  . songbl all

🍏 关于我们

• 连享会 ( www.lianxh.cn，推文列表) 由中山大学连玉君老师团队创办，定期分享实证分析经验。
• 直通车： 👉【百度一下： 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。