摆脱过度适应有什么意义？

Question

我很难理解为什么我会使用辍学，正则化，数据增强，等等，以摆脱过度拟合在第一。我知道，如果您的模型太大或者数据太稀疏，那么您的模型可能会开始记忆数据，并且在新数据上表现不佳。但是，在哪些情况下，添加退出、正则化等会提高验证集的准确性？例如，如果我的训练acc为95%，val的准确率为70%，那么排除过度是否只会使训练精度降低到val的准确度？还是有办法真正提高训练的准确性？我想会有一些直觉，但这将是非常感谢！

Answer 1

这就像只拿着去年的试卷(PYP)为考试而学习，而你是分类器。考试时不练习任何PYP都是不明智的，这会导致考试成绩不佳(不合适)。另一方面，记住PYP的答案是很糟糕的，因为你不能很好地概括到与PYP (过度拟合)完全不同的试卷上。

Answer 2

基本上，预测误差可以被分解成三个项，其中两个是你可以控制的。均方误差=方差+偏差^2+不可约误差。具有高方差的模型意味着训练数据集中的小变化会导致模型的拟合发生很大的变化(在这种情况下)。一个低偏差的模型在本质上非常适合训练数据集。不可约的错误是问题本身固有的困难(因此，无法控制)，所以让我们忽略这一点。

在理想世界中，我们显然需要低方差和低偏差。然而，这在现实中是极难做到的，因为从直觉上看，差异和偏见的两种力量是相互对立的。其原因是，我可以任意地使我的模型非常适合数据(因此，具有较低的偏差)，只需增加模型的复杂性，对每一种怪癖进行建模，并在本质上做您所称的“记忆数据集”。您可以看到，数据是随机变量的实现，这些变量可能会产生许多不同的结果，因此，数据集中存在噪声。因此，在dataset中对确切的模式/趋势进行建模并不是很好的概括，因为数据本身并不是人口的完美表示(这是我们的目标)，而是它的一个样本。

通过增加我的模型的复杂性，以任意提高模型在数据集上的拟合，我有效地消除了我所有的偏见，获得了大量的方差。我这么做是因为，很明显，通过增加我的模型的复杂性，我的模型甚至已经记住了数据集中的噪声，数据集中相对较小的变化(来自同一群体的另一个随机样本)将极大地改变拟合的模型。这是因为噪声本质上是随机的，不能预测，而且只适用于特定的数据集(样本)，而不是数据来源的一般总体。由于我的模型随着我训练它的数据集而发生了很大的变化(许多人称之为不稳定模型)，我的模型预测本身也将是非常随机的，因此，我的模型在新保存的数据上的性能将不会比一个随机猜测者更好。当人们说他们的模型“太合适”时，这就是他们的意思。我很好地拟合了训练数据集，代价是不对来自数据的实际信号进行建模，而只是对训练集特有的一组噪声进行建模。

因此，人们已经发现，我们需要在非常好地拟合训练数据之间做出权衡，同时也要注意不要模拟噪音。因此，神经网络中的脱落层、L1/L2正则化、树的修剪、学习率、早期停止和成本复杂性惩罚等都是有意地消除一些偏差(与训练集不一样)，以减少方差(有一个稳定的模型，因此具有稳定的非随机预测)。在两者之间取得平衡，本质上就是预测建模的意义，所有的ML方法都试图以自己的方式解决这个问题。

在你的例子中，去除过度拟合意味着验证精度更接近训练精度，而不是相反。但当然，这是一个典型的白日梦，你几乎总是会有点过火。考虑到眼前的问题，你认为可以接受的程度是关键。例如，如果在许多情况下，我的训练精度为0.99，验证精度为0.89，我仍然会对模型感到满意。