使用krippendorff alpha或fleiss的低注释者协议

Question

我有3个类别，由3个批注者每个评级。在52%的案例中，3名注释者同意同一类别，43%的批注者同意一个类别，只有5%的批注者选择不同的类别。

我计算了弗莱斯的卡帕或克里本多夫，但克利彭多夫的数值比弗莱斯低得多，它是0.032，而我的fleiss是0.49。

协议是不是太低了，尤其是使用krippendorff？

Answer 1

Flei和Krippendorff实现期望输入数据以特定格式(行、列)！

Fleiss (subjects，n_categories) Krippendorff (评价者，被试)

从(科目、评价者)到达那里

For Fleiss使用状态模型中的aggregate_raters()函数，fleiss用于Krippendorff，转换数组

如果正确使用，这些函数将产生非常相似的值。如果不确定Krippendorff‘知道’什么样的规模(名义，序数..。等)它是通过传递适当的论据来处理的。

另见较长的答案：

Inter-rater reliability calculation for multi-raters data

Is fleiss kappa a reliable measure for interannotator agreement? The following results confuses me, are there any involved assumptions while using it?