提取并绘制各种模型的K折叠结果

Question

我必须构建几个模型，并通过10折CV验证它们的稳定性

例如，我有以下逻辑回归和nnet的代码

mod_fitlog <- train(form,  data=x, method="glm", family="binomial",
                 trControl = ctrl, tuneLength = 5,verbose=T,metric='auc')

mod_fitnnet <- train(form,  data=x, method="nnet",preProcess = "range",
                trace = FALSE, maxit = 100)

现在我想提取10个cv运行的结果，即每个模型的10个aucs，并绘制它们-基本上是判断哪个模型更稳定，哪个不具有更高的方差。

Answer 1

我建议你看看pipelearner，它就是为这类任务编写的。