来自R中irr包的Kappam.light :警告sqrt(varkappa)，NAns产生，kappa = NA，z-value=NA和p-value=NA

Question

我试图计算R中的观察者之间的可靠性，一个评分系统使用Light‘system，由irr包提供。这是一种完全交叉的设计，15位观察者为在场的事物("1")或不在场的事物("0")打分20名受试者。这是我的数据框架(从excel表导入)：

library(irr)       
my.df #my dataframe

   a b c d e f g h i j k l m n o
1  0 0 0 0 0 0 0 0 0 0 0 1 0 0 0
2  0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
3  0 0 0 0 0 0 0 0 0 0 1 0 0 1 0
4  0 1 1 0 0 0 1 0 0 0 0 0 0 0 0
5  0 1 0 0 1 1 0 0 0 1 1 0 0 1 0
6  0 1 0 0 1 1 0 0 0 0 0 1 1 0 0
7  0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
8  0 0 1 0 0 0 0 0 0 1 0 0 0 0 0
9  0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
10 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0
11 0 1 1 1 0 1 0 0 0 1 0 0 0 0 1
12 0 1 0 0 0 1 0 1 0 1 0 0 1 0 0
13 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0
14 0 1 0 1 0 1 1 0 0 1 1 1 1 1 0
15 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
16 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0
17 0 1 0 1 1 1 0 0 0 0 0 1 1 1 0
18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
19 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
20 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0

接下来，我尝试计算kappa值，并得到以下响应

kappam.light(my.df) #calculating the kappa-value

Light's Kappa for m Raters

 Subjects = 20 
   Raters = 15 
    Kappa = NaN 

        z = NaN 
  p-value = NaN 

Warning messages:
1: In sqrt(varkappa) : NaNs produced
2: In sqrt(varkappa) : NaNs produced
3: In sqrt(varkappa) : NaNs produced
4: In sqrt(varkappa) : NaNs produced
5: In sqrt(varkappa) : NaNs produced
6: In sqrt(varkappa) : NaNs produced
7: In sqrt(varkappa) : NaNs produced
8: In sqrt(varkappa) : NaNs produced
9: In sqrt(varkappa) : NaNs produced
10: In sqrt(varkappa) : NaNs produced

我已经尝试过将所有变量的类更改为因子、字符、数字、布尔值。毫无办法。我怀疑这与"1“分数相对较低有关。有什么建议吗？

编辑:我找到了这个问题的解决方案，而不必排除数据。为了计算一个流行率和偏差调整卡帕，pabak可以用来解决桦树问题。对于这样的多重评估问题，您应该使用Randolph的kappa。这是基于芙蓉的卡帕，因此不考虑差异。很适合我遇到的问题。

在线计算器可以在R中找到这里，可以使用评价器包。我比较了这两种方法的结果，结果实际上是一样的(小数点第六位的差异)。

Answer 1

因为在列a和i中没有可变性，所以您会得到这个错误。

首先，检查列的可变性。

apply(df,2,sd)
        a         b         c         d         e         f         g         h         i         j         k         l         m         n         o 
0.0000000 0.5104178 0.3663475 0.4103913 0.3663475 0.4893605 0.3077935 0.2236068 0.0000000 0.4701623 0.3663475 0.4103913 0.4103913 0.4103913 0.2236068 

您可以看到，列a和i没有可变性。可变性是必要的，因为卡帕计算了评估者之间的可靠性，并修正了机会协议。有两个未知数，而且没有可变性，这是无法计算的。

因此，如果删除这2列，则输出没有错误。

df$a=NULL
df$i=NULL
kappam.light(df)
 Light's Kappa for m Raters

 Subjects = 20 
   Raters = 13 
    Kappa = 0.19 

        z = 0 
  p-value = 1