在n> 2的情况下，评价n路分裂试验的最确切的方法是什么？

Question

我有丰富的设计，运行和评估双向分离测试(A/B测试)的经验.到目前为止，这是数字营销中最常见的，我大部分的工作都是在数字营销中完成的。

然而，当更多的变体被引入到实验中时，我想知道方法学是否需要改变(比如创建一个3路测试(A/B/C测试))。

我的直觉告诉我，我应该对控制组进行n-1评估。

举个例子，如果我进行了一次三分测试，本能会说我应该两次发现意义和力量：

Control

• Treatment B组与对照组

1. 治疗A组比较

因此，在这种情况下，我正在找出哪种治疗，如果有的话，表现比对照(1尾试验，alt:治疗-控制> 0，基本营销假设)。

但是，我怀疑我的直觉。我突然想到，进行第三次测试，将治疗A与治疗B进行对比，可能会产生令人困惑的结果。

例如，如果没有足够的证据来拒绝处理B=处理A的空值，该怎么办？

这会导致这样一个愚蠢的结论：

1. 治疗A=控制

1. 治疗B>对照

1. 治疗B=治疗A

如果治疗A和B可能只是因为随机的机会而不同，那么它们中的一个怎么能超过控制呢？

这让我想知道是否有一种统计上更合理的方法来评估多个治疗变量的分裂测试。在那里吗?

Answer 1

你的直觉是正确的，你可以通过改变你的陈述来减少你的愚蠢：

我们发现治疗A与Control.

• Treatment B之间无统计学差异，B治疗明显优于Control.

• However治疗，治疗B是否优于治疗A仍无定论。

这将足以宣布治疗B是赢家，可能的后续测试A和B，但取决于您的具体情况，您可能需要实际确保治疗B是优于治疗A在前进之前，你不能用你的数据作出这样的决定。您必须收集更多的数据和/或重新启动新的测试。

我发现更常见的情况是治疗A和治疗B都比控制好(因为它们通常是密切相关的，并且有相关的假设)，但是治疗A和治疗B之间没有统计学上的显着差异。这是一个有趣的场景，如果你需要选择一个赢家，就可以把意义抛出窗外，选择一个效果最强的。究其原因，在于其重要性水平。95%)是为了避免假阳性和作出不必要的改变。有一种假设是有转换成本的。在这种情况下，你必须选择A或B，并放弃控制，所以在我看来，选择最好的一个，直到你有更多的数据。