谷歌网络优化器

Question

我已经在Google优化器上运行了一个A/B测试已经有六个星期了，而且还没有结束。谷歌仍然在说：“我们还没有收集到足够的数据来显示任何重要的结果。当我们收集更多的数据时，我们应该能够向你展示一个成功的组合。”

有没有办法告诉谷歌离下决心有多近？(有谁知道用什么算法来判断是否有“高自信的赢家”？)

根据Google帮助文档：

有时，我们只是需要更多的数据，才能达到高度的信心。一个经过测试的组合通常需要大约200个转换，我们才能肯定地判断它的性能。

但目前我们所有的转换都有200多个对话：

230 / 4061 (原件)

223 / 3937 (变动1)

205 / 3984 (变动2)

205 / 4007 (变动数3)

它还要跑多久？？

谢谢你的帮助。

Answer 1

有没有办法告诉谷歌离下决心有多近？

您可以使用GWO计算器根据您提供的许多假设来帮助确定测试所需的时间。不过，请记住，您的测试组合之间可能没有显著的差异，在这种情况下，一个测试来查看哪一个是最好的将花费无限的时间，因为不可能找到赢家。

(有谁知道用什么算法来判断是否有“高自信的赢家”？)

那是个谜，但是对于大多数(如果不是全部)统计检验，有一个叫做p值的值，它是得到一个结果的概率，就像仅仅偶然观察到的结果一样极端。GWO测试将一直运行，直到p值通过一些阈值，可能是5%。更清楚的是，GWO测试运行直到组合明显好于最初的组合，这样的结果只有5%的机会发生的偶然。

对于你的考试，似乎没有重要的赢家，这是一个平局。