推荐系统AB测试度量事件

Question

我为选择游戏建立了个人推荐系统。在网站主页上的特殊位置，有个人游戏的收藏推荐。经过AB测试(介于2种推荐系统之间)，我不明白我应该收集哪些事件。只有事件后点击推荐图标或所有事件(推荐事件加事件，但不选择推荐游戏-用户可以选择在其他地方，如查找)？

例如，衡量标准之一是每个用户每个游戏的支付金额。我应该只在推荐的游戏中收集付款，或者是所有的付款？据我所知，理论上，推荐系统会给网站带来负面影响(用户见建议，而不是点击)。如果我只收集建议付款，我可以跳过观看负面影响。另一方面，我构建了推荐系统，并且只想看到那些点击建议图标的玩家的指标。

哪种方法更正确？

Answer 1

这一切都归结于你能想到的目标，你可以利用：

1. 我们关心整个网站。新的推荐系统将直接或间接地提高支付总额。我们不希望推荐人损害付款总额。
2. 我们只关心推荐人，也许我们相信这是我们业务的未来，我们希望最终取代整个网站。这是至关重要的推荐直接驱动付款。

无论哪种方式，我都会建议跟踪推荐相关支付和非相关支付。了解直接和生态系统的影响是很重要的。这可能是推荐人是非常成功的驾驶点击和找到用户伟大的游戏，但也找到他们的游戏，没有成功赚钱。这也可能是推荐人是如此可怕，它把人们从网站上吓跑。你会想要衡量和跟踪直接和间接的影响，但是你如何做出决定将取决于你想要达到的目标。