sklearn.metrics.cohen_kappa_score零结果

Question

我有预测和标签数组如下，我试图计算Kohens (线性和二次型)，虽然几乎所有的preds是正确的，我得到0.0分的Kappas。

labels = [0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
preds = [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

kappas_linear_cls = cohen_kappa_score(labels, preds)
kappas_quadratic_csl = cohen_kappa_score(labels, preds, weights='quadratic')

linear kappa: 0.0
quadratic kappa: 0.0

我正在使用内置函数sklearn.metrics.cohen_kappa_score。

我该怎么解决这个问题？

Answer 1

这似乎是对的。

观察到的一致性比率(P0)是33/35 (很抱歉对总长度进行了不精确的计数)。基本上，这和准确性是一样的。

期望一致性(Pe)是两个向量中类概率的乘积：(2/35 * 0) + (33/35 * 1) = 33/35。换句话说，如果随机调整预测，那么在35例病例中，它们仍然是正确的。

Kappa是(P0 - Pe) / (1 - Pe) = (33/35 - 33/35) / (2/35) = 0。