测试精度较低的列车精度较高，还是列车精度较低的测试精度较高？

Question

我的RandomForest模型具有5个最大特性，其结果如下：

84%的列车精度 76%的测试精度

结果有10个最大的特征：

79%的列车精度 77%的测试精度

我应该赞成哪一个结果？我会否不正确地说第二个结果会更好，因为即使训练的准确度较低，测试的准确性也较高？最终，您希望模型在测试(未见)数据上表现最好？

Answer 1

测试精度更好地反映了泛化误差，所以您想要的测试精度较高。在你的第一次设置，较高的列车精度表示过度，因为它是显着高于火车的准确性。这也是为什么它的概括不如第二个。

Answer 2

你问了两个问题：

1)你是否根据训练或测试成绩来决定模型的优越性？

2)你应该选择哪种型号？

我两个人都回答。

1)首先，转到交叉验证 ( Stack站点，获取统计数据和类似的主题，并与此站点有一些重叠)，并查看Frank关于准确性(甚至是AUC)作为性能度量标准(例如，他的论点在对这个问题的公认的答案中总结)的看法。我认为他说得有点过头了，但他反对这些指标的论点是令人信服的。然而，让我们说，这种精确性对你来说确实是对的。然后，正如其他答案所报告的那样，您将根据样本外的性能来判断模型的优越性。

2)准确度上的差别很小，我认为你不能说任何一种方法。模式2是否在其他训练中表现得更好？除非你能证明这一点，否则我不会看到令人信服的证据来支持这两种模式。事实上，我倾向于采用第一种模式，因为它似乎更简单。

最后一点:它可以帮助观察错误率而不是准确性。如果你有98%的准确性和99%的准确性，那看起来可能不是这样的改进。然而，这些数据对应于2%的错误分类和1%的错误分类，这意味着准确率99%的模型可以被认为是准确率的两倍(错误的概率是错误的一半)。