最优可靠性

Question

我们开始使用Optimizely，结果让我们大吃一惊，所以我们开始创建积极的活动。但后来我们意识到有些地方不对劲，如果能得到任何帮助，我将不胜感激。

例如，我们在主页上测试(例如)而不是蓝色的CTA，我们创建了一个带有绿色CTA的变体，我们看到该变体的转化率增加了35%。然后我们切换设置，将绿色的CTA设置为对照，蓝色的CTA设置为变体。如果绿色的CTA确实更好，我们现在应该看到随着蓝色CTA的变化，转化率下降了35%。相反，这种变化带来了更高的转换率。

我不能准确地指出我们做错了什么，但一般来说，所有的变化都比对照的成功率更高，但如果我们交换周围的东西，并将变化设置为对照，结果不会切换。

Answer 1

如何衡量转换率？这通常是一个好的实践，以多种方式测量-例如，对于CTA实验，我将测量点击，在链接重定向的页面上定位，有效的表单提交等。扩展您对数据的视图，并了解更改将如何影响用户体验的其他部分始终是一个好主意。

Answer 2

尝试:在结果页面上应用不同的部分来识别每个变体的改进我建议设置90%的统计显著性如果你在两个单独的测试中测试，可能你没有让它在正确的时间我通常更喜欢他们在一周内避免季节性，

Answer 3

您是否正在对已经运行的实验进行这些调整？你应该记住，一旦你开始一个实验，用户就会被分成桶，所以做出调整，比如切换谁属于一个控件，在实验运行之后或同时进行，可以说不会让你重新开始。如果你正在做你所描述的调整，那么你需要创建一个新的实验。