如何确定推荐系统的目标？(平均精度，baselineRmse)

Question

我开始使用ALS算法开发离线推荐系统。我需要设定一个关于系统的目标。

所以我想知道用什么标准来评价推荐系统。我已经知道了MAP (平均平均精度)和对baselineRmse的改进，我想知道:在现代推荐系统中，这些标准的性能如何来设定我的目标。

Answer 1

在早期的推荐人时代，人们认为预测评分是个好主意。自那时以来，事实证明这本身几乎是无用的。如果你在用户界面中有足够的空间显示一些建议，你会选择你认为用户会选择的收视率最高的那个吗？这总是会导致糟糕的表现。评级预测是RMSE设计的衡量标准。

另一方面，MAP@k的目的是在推荐人中找到预测性。它测量训练数据如何预测测试数据中的内容。它还说明了建议的顺序。最近发现，建议的排名/排序对建议的有效性有更大的影响，因为如果您只能显示数量有限的建议，它们最好是最有可能导致用户采取行动的。

MAP@k还考虑到排名，如果您度量MAP@1和MAP@10，如果您的第一条建议比第10条更有可能出现在测试数据中，则地图分数会下降。这意味着您正在命令建议大致正确。

由于这些原因，我们使用MAP@k.拆分稍后休息中使用的“金本位”数据集，并保持拆分静态--大约80%-20%将被随机选择或按时间拆分，最近的20%用作测试拆分。在80%的基础上构建模型，然后对20%中的每个交互获得建议，并查看建议是否包含在测试集中实际交互的项。所有这些的总和将进入MAP@k计算，k是根据您要求的推荐数计算的。

请参阅这些参考资料和一些我们必须这样做的工具：

• Kaggle引用了他们和我们ActionML使用的python代码。https://www.kaggle.com/wiki/MeanAveragePrecision
• ActionML分析python代码来拆分数据集并运行MAP@k，在这里我们使用Kaggle函数。https://github.com/actionml/analysis-tools