线性回归与非线性回归(基本起点)

Question

因此，我的怀疑基本上是线性回归，我们试图拟合一条直线或一条曲线，对给定的训练集。现在，我相信当特性(自变量)增加时，参数也会增加。因此，计算这些参数在计算上是昂贵的。所以，我想这就是我们走向非线性的原因！？我的理解对吗？

我的下一个疑问是，对于线性回归的过度拟合，我们说模型是记忆的。我所理解的是，参数调整的方式只能预测给定的输入，并且会给输出带来不好的结果，原因是我们没有拟合一条广义的线或曲线。但我们正在绘制一条贯穿所有输出值的线或曲线。我的理解正确吗？

Answer 1

是否使用线性模型或非线性模型完全取决于数据是否是线性可分的，而不是特征的数量。如果您有一个线性可分的数据集，即线性曲线可以确定因变量，那么您将使用线性回归，而不考虑特征的数量。由于真实世界的数据很少是线性可分的，并且线性回归不能对这些数据提供准确的结果，所以使用了非线性回归。

回答你的第二个问题，是的，你是对的。当您的模型对培训数据具有非常高的精度，而对于验证/测试数据的准确性却相当低时，就会发生过度拟合。这是因为参数是完全根据你的训练集来调整的，所以没有一个通用的曲线。因此，对于较新的数据，该模型的性能会很差。