模型选择:大均值和方差与小均值和方差

Question

这个问题一直萦绕在我的脑海。假设您正在进行5-10倍的交叉验证，其中一个模型的平均精度为0.8，而另一个模型的精度为0.2标准差，而另一个模型的精度为0.05标准差。哪一个更好？

Answer 1

这正是我问Sebastian Raschka (“伟大的Python学习书”的作者)的一个问题，在这里您可以看到他的回答说“我也推荐1标准错误方法，这基本上意味着您根据纯性能从k折叠中选择最佳模型，然后选择最简单的模型，即在该模型的1标准误差范围内”。

关于他的答案的更广泛的解释可以在他的github链接上找到。

Answer 2

首先要做的事情是: 1.问题陈述是什么?我的意思是回归问题还是分类问题。2.你是如何测量你的准确性的，我的意思是MSE，MAPE，OOB，RMSE，SSE，哪一个在回归问题或准确性，精度，召回或ROC，如果它是一个分类！请澄清。

如果是分类问题的话！很明显，你怎么测量SD?假设它是一个回归问题，

你需要回答上面的问题。此外，每个精度度量都有自己的最先进的用例，因此请理解您应该采用哪种精度度量，否则就会与误差较小的模型一起使用。

WHen说到方差，我假设方差越高，模型的方差越低。