在Google的实验中，为什么“表现优于原始数据的可能性”似乎与转化率相矛盾？

Question

变式1和变式5(见下文)的转换率都低于原始值，但它们都被标记为更有可能优于原始版本。

我看到错误了吗？如果没有，是否有人能说明这种表现优于原始值的可能性是如何计算出来的？谢谢。

原始

2,071次实验会议

1 055反转

转换率50.94%

与原版相比0%

0.0%的表现优于原来的可能性

变异2

1028次实验会议

541反转

转换率52.63%

3%与原版相比

69.2%的表现优于原始数据

变异4

1,786次实验会议

914反转

转换率51.18%

与原版相比0%

61.7%的表现优于原始

变异1

523次实验会议

258反转

49.33%转化率

58.0%的表现优于原始

变异5

837次实验会议

423反转

转换率50.54%

53.2%的表现优于原始数据

变异3

517次实验会议

242反转

46.81%转化率

44.0%的表现优于原始

Answer 1

把一些等式放在这里并不是什么基本的或容易的计算。谷歌实验的计算是基于多武器匪徒的“问题”。

这是一个概念，它描述了任何情况，在这种情况下，你想要进行一个实验，使你的回报最大化。

完整的描述可在Google文档中找到-这里：https://support.google.com/analytics/answer/2844870?hl=en

基于多武装匪徒的实验通常比基于统计假设检验的“经典”are实验有效得多。它们在统计上同样有效，而且在许多情况下，它们可以更快地得出答案。

它们的效率更高，因为它们将流量逐渐转化为赢得变体，而不是强迫你在实验结束时等待“最终答案”。

它们的速度更快，因为本来会出现明显较差变化的样本可以分配给潜在的获奖者。在高性能变体上收集的额外数据可以帮助更快地将“好”和“最好”的手臂分开。

计算示例如下：https://support.google.com/analytics/answer/2846882

我希望它能帮助你更好地理解谷歌是如何计算赢家的。