计算fleiss在R中的置信区间

Question

我使用R中的irr软件包来计算263名评测者对7张照片(比例为1到7)的Fleiss kappa统计。kappam.fleiss(db)提供了kappa统计量(0.554；z=666)和p值(0)，但不幸的是，其中包含的kappa统计信息没有可信区间。有人能帮我找到信心区间吗？

thx

添加示例:行名/ rater.1 / rater.2 / rater.3 / rater.4 / rater.5 /./ rater.263照片1/6/6/6/7/./5照片2/1/2/1/1/1/./2照片3/5/5/5/5/6/./6照片4/3/1/3/3/3/./1照片5/2/3/2/2/3照片6/4/4/4/4/4/./4照片7/7/7/7/7/5/./7

Answer 1

irr包不提供置信区间。这是可能的，你可以计算它从一个测试统计可以得到(如果是，如42说，这是一个问题的交叉验证)。

但是，这是由raters包提供的。

library(raters) 
data(diagnostic)
concordance(diagnostic,test="Chisq")
concordance(diagnostic,test="Normal")
concordance(diagnostic,test="MC",B=100)

$Fleiss Kappa LCL Std.Error Z值Pr(>x=z) 0.43024452 0.38247249 0.47801655 0.02437393 17.65183058 0.00000000 $Statistic LCL p值0.4444444 0.3555556 0.5404861 0.0000000

https://cran.r-project.org/web/packages/raters/raters.pdf

Answer 2

kappam.fleiss函数和一致性函数的区别在于，第一个函数用于详细的评价器，第二个函数用于汇总数据。请查看维基百科页面中的以下示例：

DATA <- data.frame(Rater1 = c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2))
DATA$Rater2 <- c(5, 2, 3, 2, 1, 1, 1, 1, 1, 2)
DATA$Rater3 <- c(5, 3, 3, 2, 2, 1, 1, 2, 1, 3)
DATA$Rater4 <- c(5, 3, 4, 3, 2, 1, 2, 2, 1, 3)
DATA$Rater5 <- c(5, 3, 4, 3, 3, 1, 2, 2, 1, 4)
DATA$Rater6 <- c(5, 3, 4, 3, 3, 1, 3, 2, 1, 4)
DATA$Rater7 <- c(5, 3, 4, 3, 3, 1, 3, 2, 2, 4)
DATA$Rater8 <- c(5, 3, 4, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater9 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater10 <- c(5, 4, 5, 3, 3, 2, 3, 3, 2, 5)
DATA$Rater11 <- c(5, 4, 5, 3, 3, 2, 3, 4, 2, 5)
DATA$Rater12 <- c(5, 4, 5, 3, 3, 2, 4, 4, 3, 5)
DATA$Rater13 <- c(5, 5, 5, 4, 4, 2, 4, 5, 3, 5)
DATA$Rater14 <- c(5, 5, 5, 4, 5, 2, 4, 5, 4, 5)

library("irr")
kappam.fleiss(DATA)

TABLE <- matrix(rep(0, 50), nrow = 10)
for (COLUMN in 1:5) {
  for (ROW in 1:10) {
    TABLE[ROW, COLUMN] <- sum(DATA[ROW,] == COLUMN)
  }
}


library(raters) 
concordance(db = TABLE, test="Normal")