ROC曲线交叉验证

Question

如何生成交叉验证的ROC曲线？

对于单个测试，我认为应该对SVM的分类分数设置阈值，以生成ROC曲线。

但我不清楚如何为交叉验证生成它？

Answer 1

作为Backlin的后续：

不同的k-折或留n-out交叉验证结果的变化表明模型的不稳定性。这是有价值的信息。

当然，你可以将结果汇集在一起，然后只生成一条ROC。

• ，但你也可以绘制一组曲线

例如，参见R包ROCR

• or，计算不同阈值下的中位数和IQR，并构建一个描述这些变化的频带。

这里有一个例子:阴影区域是在8次交叉验证的125次迭代中观察到的四分位数之间的范围。薄薄的黑色区域包含一个特定阈值的观察到的特异性-敏感性对的一半，中位数由x标记(忽略+标记)。

​

Answer 2

经过一轮完整的交叉验证后，所有观察数据都被分类一次(尽管是通过不同的模型)，并被给出了属于感兴趣类别的估计概率，或类似的统计数据。这些概率可以用来生成ROC曲线，其方式与在外部测试集上获得的概率完全相同。当分类阈值从0到1变化时，只需计算分类错误率，您的就都设置好了。

但是，通常情况下，您希望执行多轮交叉验证，因为性能取决于折叠的划分方式。我不清楚如何计算所有回合的平均ROC曲线。我建议将它们全部绘制出来，并计算平均AUC。