LightFM推荐模型的评价

Question

我已经和轻盈玩了很长一段时间了，我发现生成推荐是非常有用的。然而，有两个主要的问题，我想知道。

1. 要评估LightFM模型，在建议级别重要的情况下，我是否应该更多地依赖precision@k或其他提供的评估指标(如AUC score )？在什么情况下，与其他指标相比，我应该集中精力改进我的precision@k？或者它们是高度相关的？这意味着，如果我设法提高我的precision@k分数，其他指标将遵循，我是正确的吗？
2. 如果使用WARP损失函数训练的模型对precision@5的得分为0.089，您将如何解释？AFAIK，精度在5告诉我，在前5名的结果中有多大比例是积极的/相关的。这意味着，如果我的预测不能进入前5，我将得到0 precision@5，如果我在前5中只有一个预测是正确的，我将得到0.2。但我不能解释0.0xx对precision@n的意义。

谢谢

Answer 1

精确@K和AUC测量不同的东西，并给你不同的角度对你的模型的质量。一般来说，它们应该是相关的，但是了解它们的不同可能会帮助您选择对您的应用程序更重要的一个。

• 精度@K衡量在K排序最高的项目中积极项目的比例。因此，它非常关注排名第一的质量:不管你的排名的其余部分是好还是坏，只要第一个K项基本上是积极的。这将是一个适当的衡量标准，如果您只打算向您的用户显示在列表的最顶端。
• AUC衡量整体排名的质量。在二进制情况下，可以解释为随机选择的正项比随机选择的负项高的概率。因此，接近1.0的AUC会提示，总的来说，您的订单是正确的:即使第一个K项中没有一个是肯定的，这也可能是正确的。如果不完全控制将向用户显示的结果，则此度量可能更合适；可能第一个K推荐项不再可用(例如，它们缺货)，您需要进一步降低排名。一个高的AUC分数，然后会给你信心，你的排名是高质量的始终。

还请注意，虽然AUC度量的最大值为1.0，但最大可实现的精度@K取决于您的数据。例如，如果您测量精度@5，但只有一个正项，则可以达到的最大分数为0.2。

在LightFM中，AUC和精度@K例程返回度量分数数组:测试数据中的每个用户一个。最有可能的情况是，您将这些值进行平均值以获得平均AUC或平均精度@K分数:如果您的一些用户在精度@5度量上得分为0，那么您的平均精度@5可能介于0到0.2之间。

希望这能有所帮助！