线性回归假设

Question

我读到，我们对线性回归作了以下假设：

1.线性(正确的函数形式)

2.常量误差方差(同方差)

3.独立误差项(无自相关)

4.误差术语的正态性

5.无多重共线性

6.外部性(无遗漏的变量偏差)

因此，这些假设是特定于线性回归或适用于所有类型的回归技术，如支持向量回归，拉索和岭回归，逐步回归等。

Answer 1

这些不是线性回归的(直接)假设。但是对于OLS-普通最小二乘，它被广泛应用于线性回归模型的参数估计。OLS估计器最小化平方误差之和(观测值与预测值之间的差值)。

为了保证找到最佳的参数，我们做了这些假设(就像每次优化一样)。

但是仅仅因为它们不存在，这并不意味着线性回归是行不通的。

关于你的其他模型:如果他们使用相同的优化，比他们有相同的假设。

Answer 2

在某种程度上，我不同意其中的每一个。

1. 非线性回归模型(例如支持向量机)不呈线性泛函形式，非线性基函数(如多项式或样条)可以允许线性模型拟合具有曲率的趋势。
2. 常量误差方差对于某些形式的推断是有用的，但它对预测几乎没有必要。
3. 时间序列模型处理自相关。
4. 误差项正态性是指线性模型的OLS解对应于回归权的极大似然估计，这对于对权值或嵌套模型进行推理是很好的。然而，这样的推论对于偏离正态分布(特别是大样本的情况)是相当稳健的。此外，其他回归模型，如分位数回归，假设不同的误差分布，以对应于最大似然估计。特别是，在中位数的分位数回归(最小化MAE)对应于拉氏分布误差项的最大似然估计.
5. 即使在OLS回归中，也不存在缺乏特征多重共线性的假设.
6. 根据模型的复杂性，我的假设可能是我忽略了一个重要的特性。如果我能做出一个有用的模型尽管如此，这对我来说是件好事。