A/B测试搜索结果排序选项

Question

我有一个搜索结果页面与不同类型的排序可供用户通过下拉控制选择。我需要测试其中一个排序选项的变体，比如说相关性(变体B背后有不同的相关性定义算法)。

技巧是记住用户选择的排序选项，下次用户访问搜索结果页面时，他的默认排序选项等于他上次选择的选项。例如，假设用户前一段时间被选为排序选项价格(从最低到最高)，这意味着他将永远不会再获得按相关性排序的结果，直到他显式地选择“相关性”排序选项。

问题是-如果仍然可以测试整个页面的变化，或者我只需要设置/限制A/B测试的情况下，用户已经选择了‘相关性’作为排序选项，以这种方式只比较用户转换通过这个特定的选项的变化？

Answer 1

我知道这个问题很陈旧，但以防有人提出类似的问题，这里有一个答案

您可以使用条件/手动激活，以确保存储桶的用户确实看到了实验。条件激活仅适用于企业帐户，但如果您有条件激活，请使用$('#my-dropdown').val() === 'relevance'之类的工具。如果不是，您可以使用手动激活，并将javascript添加到检查当前所选选项是什么的页面，并触发以下命令：

window.optimzely = window.optimizely || [];
window.optimizely.push(['activate', experimentID]);

这里是关于激活模式的Optimizely文章：https://help.optimizely.com/hc/en-us/articles/200040225

虽然从统计的角度来看，如果你在实验中存储所有访问页面的访问者，你仍然应该有有效的结果，但你必须通过实验运行更多的流量，才能在相同的实际效果上获得重要意义。多大的流量取决于看到所选页面版本的总流量的百分比。