用P@1评价特定信息检索系统

Question

我正在开发一个信息检索系统，目的是选择第一个结果并将其链接到其他数据库。实际上，我们的系统基于视频的关键字描述，并试图将视频链接到具有相同描述意义的DBpedia实体。在评价的步骤中，笔者认为大多数的评价方法都将精度截断的最小值设置为5，而在我们的系统中是不合适的。我想放一个间隔1,5：(P@1，...P@5).Will是可能的吗？!！请提供您的建议和参考一些注意事项。谢谢..

Answer 1

如果你有真实标签，你绝对可以计算一个检索系统的P@1。(在这种情况下，听起来它们是由人类生成的视频、DBPedia匹配对)。

人们通常会把这种衡量方法看作是问答系统或推荐系统。唯一要注意的是，你通常不会用它来训练一个学习打分系统或任何其他学习系统--在这种情况下，几乎不及格(最好是第2名)和总失分(最高为400万级)的情况下，很难通过调整权重来平稳地改进一个系统。

对于这类任务，如果你需要一些可调的东西，使用平均倒数排名是很常见的。另外，NDCG也是可以的，因为它有指数折扣因子。

但是，在精度的定义中，没有什么能阻止你将其计算到1级。将其描述为"success@1“功能可能更正确，因为您将得到0/1或1/1作为您的两个选项。