用kappa系数评价众包效果

Question

我有4组由4个不同的人手动标记的0和1的数据。我必须使用4组手动标记的数据以0和1的形式获得最终的标记数据。我计算了用户之间的一致程度为A-B : 0.3276，A-C : 0.3263，A-D : 0.4917，B-C : 0.2896，B-D : 0.4052，C-D : 0.3540。

我不知道如何使用它来计算作为单个集合的最终数据。请帮帮忙。

Answer 1

Kappa系数只对一对注释器有效。对于两个以上，您需要使用它的一个扩展。一种流行的方法是使用this expansion proposed by Richard Light in 1971，或对Davies and Fleiss in 1982提出的所有注释器对使用平均预期协议。我不知道有任何现成的计算器可以为你计算这些，所以你可能必须自己实现代码。

但是，您可能会发现this Wikipedia page on Fleiss' kappa很有帮助。

这些技术只能用于标称变量。如果您的数据不在标称尺度上，请使用不同的度量标准，如intraclass correlation coefficient。