用Python实现的cohen kappa度量是什么？

Question

有人能解释一下用Python实现的二次Kappa度量/cohen kappa度量的详细解释吗

Answer 1

二次Kappa度量与cohen度量在Sci-kit learn @ sklearn.metrics.cohen_kappa_score中相同，当权重设置为“二次”时。

二次加权卡帕，衡量两个评级之间的一致性。此度量通常从0(评分者之间的随机协议)到1(评分者之间的完全一致)不等。如果评分者之间的协议比预期的少，则该指标可能低于0。二次加权kappa是在预期/已知的分数和预测的分数之间计算的。

结果有5个可能的评分，0,1,2,3,4。首先，构造一个N直方图矩阵O，使得Oi，j对应于具有I(实际)等级并得到预测等级j的收养记录的数量，根据实际评分和预测评分之间的差异计算N乘N权重矩阵w。

假设评级分数之间没有相关性，则计算期望评分的N×N直方图矩阵E .这是作为实际评级的直方图向量和预测的评级直方图向量之间的外部乘积计算的，归一化使E和O具有相同的和。

从这三个矩阵出发，计算了二次加权kappa。

Python中的代码实现

Breaking将公式简化为

加权Kappa度量的5阶跃分解

• 首先，在预测和实际评级之间创建一个多类混淆矩阵.
• 其次，构造一个权重矩阵w来计算实际评级和预测评级之间的权重。
• 第三，计算and和实际中每个评级的value_counts()。
• 第四，计算E，它是两个value_count向量的外积。
• 第五，规范E矩阵和O矩阵。

按公式计算的Calculate加权卡伯值

解释的Each步骤

<#>步骤1：在步骤-1下，我们将在预测值和实际值之间计算一个confusion_matrix。这里有一个很好的资源，可以了解更多关于confusion_matrix的信息。

步骤2：在步骤2下，步骤2下每个元素都是加权的。距离实际值更远的预测要比接近实际值的预测更为严格。如果我们的预测是5，实际的分数是3，那么我们的分数就会比在同一情况下预测的4分要小。

步骤3：我们创建两个向量，一个用于preds，另一个用于实际值，它告诉我们在两个向量中存在多少个评级值。

步骤4：E是期望矩阵，它是步骤-3中计算的两个向量的外积。

步骤-5：将两个矩阵规范化，使其具有相同的和。由于最容易得到的和是'1'，我们将简单地除以每个矩阵的和，以正常化数据。

步骤-6：计算加权Kappa的分子和分母，并将加权Kappa度量返回为1-(num/den)

更多信息