如何计算实体链接的查全率和精度？

Question

在实体链接的过程中，如何计算召回和精度，我感到很困惑。当我们将一个实体消歧到正确的意义(T)或不正确的意义(F)时，我们只有这两种情况。但我们如何才能得到这四种情况: TP，TN，FP，FN？

Answer 1

这是一个有趣的问题。我认为答案是回避你的原因在于，对你的预测的评估不仅仅有两个正确/不正确的答案。

实体链接是多类分类的一种形式，可能有许多可能的答案，但其中只有一个是正确的。依循维基百科的例子，“我不喜欢巴黎”的意思可能是“巴黎，法国”，“巴黎，德克萨斯”或“巴黎希尔顿”。

评估多类分类器的性能取决于如何对二进制分类器进行评分(它只有两个可能的结果)：

表1

             Actual
              0   1
Predicted 0  TN  FN
          1  FP  TP

一旦你有了这个，你可以跟踪率，在TPR，FPR等的召回，精确度等，你听起来很熟悉。

要计算多类分类器，您需要根据可能的答案(类)对其进行计算，并将所有不正确的答案视为负数。(参考文献：微软，SciKitLearn )

假设A、B和C是巴黎以上的三个实体(为了便于阅读)。我会在分类旁边加上“二进制处理”，这样你就可以看到分数是跟在二进制后面的，就像上面一样。

首先，你将得分A:法国巴黎的链接者。

表2A

               Actual
               A   B   C
               1   0   0
Predicted A 1  TP  FP  FP
          B 0  FN  TN  TN
          C 0  FN  TN  TN

下一个得分B答案：

表2B

              Actual
              A   B   C
              0   1   0
Predicted A 0 TN  FN  TN
          B 1 FP  TP  FP
          C 0 TN  FN  TN

最后考虑C

表2C

              Actual
              A   B   C
              0   0   1
Predicted A 0 TN  TN  FN
          B 0 TN  TN  FN
          C 1 FP  FP  TP

当然，在您的评估器中，您将自动执行此处理。良好的框架已经建立了评价工具，在其中可以做到这一点。

(顺便说一句，我只是想象并创建了那些表，以此作为说明它的一种方式，所以对任何错误都表示歉意)。