krippendorffs alpha混淆- "irr“包

Question

我一直在尝试为一个小数据集计算Krippendorff的alpha统计量，但对于我的数据来说，基本上相同的情况下，我能够得到非常不同的alpha分数。

在1到5的评分范围中，两个评分4.5vs5将被视为与4.5vs4的评分相同的距离或一致性，但是我使用irr软件包在Cohens kappa和Krippendorff的r中得到了截然不同的结果。

数据和代码：

x<-matrix(c(4.5,5,5,5,5,5,5,5),nrow=2)
y<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2)
kripp.alpha(x,"ordinal")

kripp.alpha(y,"ordinal")

结果：

> kripp.alpha(x,"ordinal")

 Subjects = 4 
   Raters = 2 
    alpha = 0 

> kripp.alpha(y,"ordinal")
 Krippendorff's alpha

 Subjects = 4 
   Raters = 2 
    alpha = 0.964 

我最终希望使用Krippendorff alpha，因为我想在两个评分者和一个更大的评价者群体之间进行性能比较。

任何建议、指导或参考都将不胜感激。

Answer 1

仔细检查您的对象名称，或者调用中的拼写错误。这两种方法都会产生相同的alpha值。kripp.alpha不是随机的(相同的输入将产生相同的结果)。

x<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2)
y<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2) 

y_kripp_alpha <- irr:::kripp.alpha(y, "ordinal")
x_kripp_alpha <- irr:::kripp.alpha(x, "ordinal")

y_kripp_alpha$value == x_kripp_alpha$value
# [1] TRUE

事实上，每个组件都是相同的。