如何用电影镜头数据集评价最佳推荐系统？

Question

基于我的研究，推荐系统是一个信息过滤系统的子类，它试图预测用户对某一项的“评级”或“偏好”。我目前正在开发一个协作过滤推荐系统，基本上是向用户推荐最上面的'n‘项(我使用了用户项算法)。

因此，在此基础上，我将尝试使用电影镜头数据集对我的推荐系统进行评估，从我的研究来看，典型的顶级推荐评估方法是归一化折现累积增益(NDCG)和精度/召回。因此，我的问题是如何使用这些度量标准(或者如果您对另一个度量有任何其他建议)使用电影镜头数据集(因为它是用户对项的评级)来进行评估。

谢谢。欢迎任何建议。

Answer 1

对于各种度量，可以自由地查看各种基准测试库，包括MyMediaLite和LibRec。如果你正在做一个顶级的N方法，那么使用Movielens系统来评估这个问题的方法是简单的，基于某些阈值将评分转换成二进制的喜欢和不喜欢。从本质上说，你会接受用户的“喜欢”。查找用户是测试集。查找用户喜欢的项数，并查看推荐是否正确地猜测丢失的数据。

思考这些数据集的关键是，他们选择对一部电影打分，这意味着用户实际上是去看了一场电影。他们看了这部电影，这一事实表明了这一基本前提的默许。因此，一个好的推荐人应该能够预测哪些项目是用户在未来的评分。

不过，评估推荐系统的最简单方法是插入评估框架，如LibRec、MyMediaLite或其他各种框架，并将返回的度量与算法进行比较。这些库通常都有代码，这些代码将为您生成测试、培训和评估子集，您所要做的就是将代码作为一个模块连接起来。

额外的好处是，您可以将您的推荐算法添加到库中，这样其他研究人员也可以尝试它，这样您的算法就有了很好的开源实现，未来的研究人员可以在自己的工作中参考。