我们怎样才能找出过度拟合和不适当的问题，并保持偏倚？

Question

基本上，我是数据科学领域的新手，和I'm getting a little bit of confusion about overfitting and underfitting.

过度拟合和不拟合完全取决于数据集的数量或数据的行为吗？

有谁能解释一下过度拟合和不合适的术语，以及如何处理这类问题？

Answer 1

以下/过度拟合取决于两件事:数据集中的数据量和模型的复杂性。

要确定每一种情况发生的时间，您必须将所拥有的数据分成两部分:培训数据和测试数据。然后，您只对培训数据进行培训，然后根据培训数据和测试数据评估其性能(例如，计算其准确性或任何其他您感兴趣的度量)。

如果您的模型对您的培训数据表现良好(例如，您在训练一个模型时获得了很好的准确性)，但是不能对您的测试数据做出好的预测，那么我们就会说该模型过于合适。这意味着模型记住了训练数据，而不是学习其中的模式。因此，它无法对以前从未见过的数据(例如测试数据)进行概括和预测。

这可以通过降低模型的复杂性(例如，如果是一个神经网络，那么减少层数)或通过增加数据量(例如收集更多的数据，或者使用数据增强技术)来解决。

如果你的模型在训练和测试数据上都表现不佳，那么我们就说它不适合。这意味着模型不够复杂，无法学习训练数据中的模式。这可以通过使用更复杂的模型(即具有更多参数的模型)来解决。