如何使用GAE流量拆分进行多变量测试？

Question

新的GAE traffic splitting功能今天发布，其预期用途之一是用于多变量测试。这似乎意味着您必须构建和部署应用程序的多个版本，每个版本对应于测试的每个变体，这意味着您已经对版本控制系统进行了分支(每个测试一个分支)。这似乎是一种低效的测试管理方式。它似乎也不包括任何类型的用于管理测试的框架，不像Google's Website Optimizer，它包括用于管理多个测试的用户界面，还包括所有的统计数据收集和分析工具。

有没有人在考虑使用新的流量分割功能进行多变量测试？为什么要使用这个而不是网站优化器？您将如何设置流量拆分测试-您是否会将您的版本控制系统分支，并编写自己的基础设施来测量和分析测试？或者，有没有一个多变量测试库可以很好地实现这个目的，而不是编写自己的代码？

Answer 1

您可以选择已部署应用程序的不同版本之间的流量分配，而不一定是版本控制中的不同版本。每个版本中的代码不一定要有很大的不同。在java中，您可以在appengine-web.xml中定义版本。

比方说，你想运行一个简单的A-B测试来比较你的网站有广告的版本和没有广告的版本。你可能正在寻找对弹跳率，加载时间，广告效果的影响，无论是什么。在您的代码中，您只需将显示代码的广告包装在带有如下标志的代码块中：

if (ADS_ON) {
   // display ad...
}

您将应用程序版本设置为"ads-on“，并将ADS_ON设置为true并进行部署。然后将应用程序版本设置为"ads-off“，将ADS_ON设置为false并重新部署。

现在我已经把它打出来了，是的，我承认它有点笨拙，但这个新功能仍然允许你做以前不能做的事情。您将能够查看每个版本的appengine仪表板，并比较它们如何使用资源。

如果你想测试两个完全不同的实现的运行成本，那么在你的版本控制中有两个分支是有意义的。