从我的研究来看,推荐系统是一个信息过滤系统的子类,它试图预测用户对某个项目的“评级”或“偏好”。并且基本上存在多种类型的推荐系统,如协作过滤和基于内容的推荐系统.
一个重要的方面是,评估在评估推荐算法的有效性方面非常重要。常用的度量指标有均方误差和根均方误差,还有其他指标,如查准率、召回率等。
我的问题是,在我开发了一个推荐系统之后,在使用这些指标进行评估之后,我如何认为我的系统提供了高质量的建议,或者换句话说,什么是建议值,或者MSE或RMSE值应该被认为是一个好的推荐系统。
谢谢。欢迎任何建议。
发布于 2016-09-22 20:33:01
“很好”,我认为,是基于目前的技术状况。因此,我会看看业界领袖们的受人尊敬的模型,并以它们报告的准确性作为“好”的基准:因为它取决于什么是可能的。
发布于 2016-10-23 07:02:56
首先,重要的是要记住RMSE与因变量(DV)具有相同的单位。这意味着没有绝对的好的或坏的阈值。
但是,您可以根据您的DV定义它。对于从0到1000的基准,RMSE为0.7是很小的,但如果范围从0到1,就不再那么小了。然而,尽管RMSE越小,越好,您可以通过了解您的DV在您的研究领域中的期望,对RMSE的级别做出理论上的断言。请记住,您可以始终将RMSE正常化。
常用的决策支持精度指标有:反转率、加权误差、接收机工作特性(ROC)和精确召回曲线( Curve )、精度、召回和F-度量。这些指标帮助用户从可用的项目集合中选择质量非常高的项目。
度量视图预测过程是一个二进制操作,它区分好的项和不好的项。在对某些具体算法的性能进行综合评估时,ROC曲线是非常成功的。
精度是实际上与用户相关的推荐项的部分,而回忆则可以定义为相关项的部分,这些项也是推荐项集的一部分。它们计算为-
精密度(P) =正确推荐的项目/推荐项目总数(R) =正确推荐的项目/有用的建议项目总数
F-下面定义的度量有助于简化精度和召回成为一个单一的度量。结果值使得算法和跨数据集之间的比较非常简单和直观。
F-测度= 2PR /P+R
覆盖率与推荐系统能够提供预测的项目和用户的百分比有关。如果没有用户或少数用户对某一项进行评级,则几乎不可能进行预测。通过定义小的邻居大小,可以减少覆盖范围。
就这样。希望能帮上忙!
发布于 2016-09-22 20:42:45
您已经提到了一些度量标准,至少从算法的角度来看,我认为它们是有效的。但是,我认为很多初始验证都需要手工完成。
我致力于一个类似的问题,我们正在为一个非常新的领域开发一个模型。此外,我们还有一个额外的问题,就是没有大量的标签数据。我们通过与主题专家举行大量的会议和评审来验证我们的结果,我们还考虑了几种选择,将众包标签作为验证的手段。
https://datascience.stackexchange.com/questions/14162
复制相似问题