聚合精度-召回曲线与精度-召回曲线的差异

Question

在信息检索的背景下，像this one这样的一些论文谈到了聚合精度-召回曲线(参见图3)。这些曲线与Precision-Recall曲线有什么不同？这篇文章的作者似乎对这两种曲线有所不同，因为他们将图4中显示的曲线描述为精确召回曲线，而不是聚合的精确召回曲线(参见4.5节)。

Answer 1

聚合与非聚合P&R曲线

一般而言，精确度召回曲线和聚合精确度召回曲线是不同的。您通常会为给定系统的单个查询(本文中为query=entity)创建一条精度-召回率曲线--通过分割排名并计算每个点的查准率和召回率，您可以绘制这条曲线。

当你有几百个查询(实体)时，就像论文中的典型情况一样，你不能显示几百个图(人类也不能解释它们...)，所以你要做的是以某种方式平均曲线。在这项工作中，他们将其称为“聚合”精度召回曲线。有点不幸的是，他们没有指定他们的聚合方法，但假设他们使用均值是合理的，这对于这些曲线来说是相当典型的。我喜欢提到我在这种情况下使用的软件包，因为很难准确地知道如何跨查询对召回进行分组。

关于您更具体的问题(关于图3和图4)的：

他们实际上并没有在本文中区分图3和图4；他们只是在引用图4时不那么精确。

在我们的实验中，

报告了聚合曲线精度/召回率曲线和精度@N (P@N)

这是典型的论文约定。

Answer 2

考虑了多个关系。对于其中的每一个，我们根据置信度得分(在网络的输出中编码)对从测试集中发现的实例进行排序，并报告精确度和召回值。一旦为所有关系类型完成此操作，精度和召回率曲线将被平均，因此最终我们只有一个由检索次数参数化的精确度召回值列表。论文中没有明确说明平均值是如何计算的。这个列表的曲线图被称为聚合精度-召回率曲线。感谢@John Foley！