理解、回忆与精确

Question

我目前正在学习信息检索，我被一个回忆和精确的例子困住了

搜索者使用搜索引擎来查找信息。结果的第一个屏幕上有10个文档，第二个屏幕上有10个文档。

假设搜索引擎索引中已知有10个相关文档。

苏..。总共有20项搜索，其中10项是相关的。

有人能帮我弄明白吗？

谢谢

Answer 1

回忆和精确测量你的结果的质量。为了理解它们，我们首先定义结果的类型。返回列表中的文档可以是

• 正确分类

- a true positive (TP): a document which is relevant (positive) that was indeed returned (true) 
- a true negative (TN): a document which is not relevant (negative) that was indeed NOT returned (true)

​

• 错误分类

- a false positive (FP): a document which is not relevant but was returned positive
- a false negative (FN): a document which is relevant but was not returned negative

​

其精度是：

\x{e76f}\x{e76f}/(\x{e76f}\x{e76f}

即检索到的文件中确实相关的部分

因此，召回是：

\x{e76f}\x{e76f}/(\x{e76f}\x{e76f}

即在结果集中的相关文档的部分

所以，在你的例子中，20个结果中有10个是相关的。这给了你0.5的精度。如果不超过这10份相关文件，你已经召回了1份。

(在衡量信息检索系统的性能时，只需要考虑精确性和召回性。通过根本不返回任何结果(即不返回虚假的返回实例=>，没有FP)，或者通过返回每个实例(即没有遗漏=>，没有FN)，您可以很容易地获得100%的精度。)

Answer 2

这是我在recall at：https://stackoverflow.com/a/63120204/6907424上的回答的延伸。先读一下关于精确度的文章，然后再去读一读回忆。在这里，我只使用相同的例子解释精密：

ExampleNo        Ground-truth        Model's Prediction
   0                 Cat                   Cat
   1                 Cat                   Dog
   2                 Cat                   Cat
   3                 Dog                   Cat
   4                 Dog                   Dog

现在我在计算猫的精度。因此，Cat是我们的正类，其余的类(这里只有Dog )是负类。精密指的是，即阳性检出率实际上是阳性的。因此，对于猫来说，模型有3种检测。但是，它们都是正确的吗？不！中只有2个是正确的(例如0和2)，另一个是错误的(在示例3中)。因此，正确检测的百分比是2 out of 3 which is (2 / 3) * 100 % = 66.67%。

现在谈一谈配方，这里：

TP (真阳性)：当某事物实际为阳性时，预测它是积极的。如果猫是我们的正面例子，那么当它实际上是一只猫的时候，预测一只猫。

FP (假阳性)：预测某事物为阳性，但实际上不是阳性，即说一些积极的东西“假”。

现在，正确检测某个类的数量就是该类的TP数。但是，除了它们之外，模型还预测了一些其他的例子为阳性，但实际上不是阳性的，因此这些是假阳性(FP)。因此，无论正确与否，模型检测到的阳性类总数都是TP + FP。因此，在该类的所有检测中，阳性类的正确检测百分比为：TP / (TP + FP)，即该类检测的精度。

和回顾一样，我们也可以将这个公式推广到任意数量的类。只需一次取一个类，并将其视为正类，其余类视为负类，并继续对所有类进行相同的处理，以计算每个类的精度。

你可以用另一种方式计算精确和回忆(基本上是另一种思维方式，相同的公式)。对于Cat来说，首先要计算出在中有多少个例子同时有Cat -的事实和模型的预测(即，计算TP的数量)。因此，如果您正在计算精度，那么将此计数除以模型的预测中的“猫”数。否则，对于Ground-truth.中的召回，除以“猫”的数量这与精确和回忆的公式一样。如果你不明白为什么，那么你应该想一想，回顾一下TP，FP，TN和FN到底意味着什么。

Answer 3

如果您难以理解精确性和回忆，请考虑阅读以下内容

https://medium.com/seek-product-management/8-out-of-10-brown-cats-6e39a22b65dc