线性回归模型

Question

我是机器学习的新手，我想学的第一个概念是线性回归。我读过，要应用线性回归，我需要使用线性模型。从这个假设出发，我知道这是一个简单的线性回归模型：

y = w0 + w1x 

线性回归的定义是，因变量y应该是参数w的线性组合(但对于自变量x则不一定相同)。

所以我们可以说，这也是一个线性回归模型：

y = w0 + w1x1 + w2(x2)^2

在这种情况下，我应该说这是一个线性回归模型，因为对于定义来说，w0、w1和w2在表达式中仍然是线性的。即使存在自变量x2的二次项。

现在，我有个问题。如下所示的模型：

y = w1 x1 + w2 x2 + w3 x3 + w4 x1x2 + w5 (x2^3)

它仍然是线性模型吗？我的第一个回答是肯定的，因为对于这个定义，参数项是线性的，但我不确定。有人有什么线索吗？

Answer 1

理论上，你确实有一个线性模型，是的。

因变量与参数之间存在线性关系。你仍然会经历线性回归的过程，通过一些回归器的线性组合来拟合一条直线。但是，由于手动插入的高阶回归器(x1x2和x2^3)，您有一个非线性方程。

一般来说，这足以将其称为线性模型--参见在这个线程中有一些有用的答案。

一般来说，我不会说你在最严格的意义上有一个线性模型，因为你正在模拟因变量y和回归子的非线性组合( x、x2和x3 )之间的线性关系，但是也许可以观察到一个基本的特征，它完全等于x1x2，称为x4，然后你就删除了其中一个非线性协变量。最后的非线性项也是如此。

Answer 2

我不认为你的术语是正确的。我们通常在机器学习中使用的id多项式回归。

以下是定义：

线性回归 -线性回归是一种线性方法，用于模拟标量响应(或因变量)与一个或多个解释变量(或自变量)之间的关系。一个解释变量的情况称为简单线性回归。对于多个解释变量，这个过程称为多元线性回归。这一术语不同于多元线性回归，在多元线性回归中预测了多个相关的因变量，而不是单个标量变量。

多项式回归 -多项式回归是将自变量x与因变量y之间的关系建模为x中的n次多项式的一种回归分析形式，多项式回归符合x值与y的条件均值之间的非线性关系。

要注意的是，在线性回归中，它是自变量的组合。这个定义用于统计，所以我不知道我们在ML中是否使用了错误的术语。

Answer 3

是的，你提到的所有模型都是线性的，models.Linear模型在参数上是线性的。

线性回归中一个重要的假设是你的参数是不相关的(注意:你的参数可以是依赖的)。当您有像x^2和x1x2这样的术语时，您可能最终会有高度相关的参数，这会产生一些问题，例如，由于相关参数的系数的方差的大幅度增加，所以驱动显着的系数不重要。这只是线性模型中有相关参数的结果。