为什么不允许基于NHST的A/B测试持续监控？

Question

我正在读一篇关于A/B测试持续监测的论文。https://alexdeng.github.io/public/files/continuousMonitoring.pdf

在抽象部分中，它指出

作为A/B检验方法的骨干，Null假设统计检验(NHST)的一个关键问题是不允许实验人员对结果进行连续监测和实时决策。

但没有解释为什么会这样。

因此，我的问题是:为什么我们不能继续运行基于NHST的A/B测试，并根据结果进行实时决策？

Answer 1

因为这会立即导致数据挖掘。假设您有一个示例，并假设您对整个示例执行测试，得到的效果很低，p值很小，等等。如果您遵循一个迭代过程，从示例中的单个观察开始，并且在重复添加一个事件的同时也执行测试，那么很有可能在某个时间点获得一个重要的结果。简单地说，是因为样本中发生的顺序的随机性。问题是，你会反复做一次测试，而不修正你的标准。