如何计算投票集成分类器的AUC(曲线下面积)？

Question

例如，我有3个阈值分类器c1，c2，c3和10个二分类实例(标记为0/1)，然后我可以得到形状为(10，3)的得分矩阵S，Si，j是第j个分类器给出的第i个实例的得分，当设置阈值时，我可以通过将得分与阈值进行比较来获得预测标签。

现在我对c1，c2，c3集成使用投票方法。据我所知，计算AUC值需要投票集成分类器给出的分数。然而，在投票之后，集成分类器只给出预测的标签。这种情况下如何计算AUC值？

Answer 1

正如你所说，AUC需要一个概率估计的阈值。你如何创建你的模型并不重要--不管它是不是ensemlbe，重要的是你需要一个输出P(y|x)的模型。对于常规合奏(每个成员具有相同的权重)，它是简单的：

P(y|x) = 1/3 [ P1(y|x) + P2(y|x) + P3(y|x) ]

这就是你应用阈值的原因(因此ROC/AUC就是基于它的)。