如何计算AUC(曲线下面积)用于推荐系统评估

Question

我对计算AUC (曲线下面积)来评估推荐系统的结果感到困惑。

如果我们有交叉验证数据，比如(用户，产品，评级)。如何为每个用户选择正负样本来计算AUC？

选择每个用户在数据集中出现的产品作为正样本，其余不出现在数据集中的产品作为负样本，这样好吗？我认为这种方式不能发现那些“真正的”负样本，因为用户有机会喜欢那些负样本中的产品。

Answer 1

“ROC曲线将召回率(真阳性率)与增加推荐集大小的后果(假阳性率)进行比较。”Schröder, Thiele, and Lehner 2011 (PDF)

通常，您将保留一部分数据作为测试数据。对于特定的用户，您将对其80%的数据进行训练，并尝试根据剩余的20%的数据来预测(在数据集中的所有项目中)她将对哪些项目表现出偏好。

假设你正在构建一个排名前20的推荐器。您推荐给用户的20个项目是正面项目，不推荐项目是负面项目。因此，真正积极的项目是您在Top-N列表中显示的项目，这些项目与用户在她的坚持测试集中首选的项目相匹配。假阳性是Top-N列表中与她的坚持测试集中的首选项目不匹配的项目。真正的负面项目是那些你没有包括在Top-N推荐中的项目，也是用户在她的坚持测试集中没有出现在她的首选项目中的项目。和假阴性是你没有包括在你的Top-N推荐中的项目，但确实匹配用户在她的坚持测试集中的偏好。这就是混淆矩阵。现在你可以改变你推荐的物品的数量，计算每个物品的混淆矩阵，计算每个物品的召回和余波，并绘制ROC。