FAR和FRR值的ROC曲线构造

Question

我有一个-vs-所有分类器集。这个集合由3个分类器(LibSVM、SVMs)组成，每个分类器都训练一个类和所有其他类数据的数据。一个样本的当前设置是，给出最高分数的三个类的分类器称为匹配类。

此设置提供了一个FAR和FRR结果。问题是，FAR和FRR的结果不足以构造ROC曲线，这是我需要的。我想知道我能做些什么来产生和我的曲线。

Answer 1

这可以使用“多类ROC曲线”来完成(更多细节请参见this answer )。通常，您可以单独查看每个类，甚至单独查看每一对类。我将提供一个简短的R示例，说明第一个类的外观如何，这个示例不那么复杂，并且仍然给出了一个很好的感觉，可以识别单个类。

您首先需要获得一些类概率(对于可再现性，这是您已经拥有的)：

# Computing some class probabilities for a 3 class problem using repeated cross validation
library(caret)
model <- train(x = iris[,1:2], y = iris[,5], method = 'svmLinear', trControl = trainControl(method = 'repeatedcv', number = 10, repeats = 10, classProbs = T, savePredictions = T))

# those are the class probabilities for each sample
> model$pred
pred        obs     setosa  versicolor   virginica rowIndex C     Resample
[...]
11  virginica virginica 1.202911e-02 0.411723759 0.57624713      116 1 Fold01.Rep01
12 versicolor virginica 4.970032e-02 0.692146087 0.25815359      122 1 Fold01.Rep01
13  virginica virginica 5.258769e-03 0.310586094 0.68415514      125 1 Fold01.Rep01
14  virginica virginica 4.321882e-05 0.202372698 0.79758408      131 1 Fold01.Rep01
15 versicolor virginica 1.057353e-03 0.559993337 0.43894931      147 1 Fold01.Rep01
[...]

现在您可以单独查看每个类的ROC曲线。对于每条曲线，FRR表示这个类的样本作为其他类的样本被预测的频率，而FAR则表示其他类的样本作为该类的样本被预测的频率：

plot(roc(predictor = model$pred$setosa, response = model$pred$obs=='setosa'), xlab = 'FAR', ylab = '1-FRR')
plot(roc(predictor = model$pred$versicolor, response = model$pred$obs=='versicolor'), add=T, col=2)
plot(roc(predictor = model$pred$virginica, response = model$pred$obs=='virginica'), add=T, col=3)
legend('bottomright', legend = c('setosa', 'versicolor', 'virginica'), col=1:3, lty=1)

​

​

如前所述，您也可以查看每一对类的ROC曲线，但是IMHO传递的信息要多得多，因此掌握包含的信息更复杂/需要更长的时间。