线性回归的多重共线性与完全共线性

Question

我一直在试图了解自变量内的多重共线性对线性回归模型的影响。维基百科网页建议，只有当有一个“完美”的多重共线性，其中一个自变量将不得不从培训中删除。

现在我的问题是，如果相关性等于+/- 1，我们应该只删除其中的一列，还是考虑一个阈值(比如0.90)，然后它应该被认为是完美的多重共线性。

Answer 1

这取决于上下文。计算上，只有+/- 1的相关性是有问题的，因为这样OLS准则就没有唯一的解决方案。预测变量之间非常强的相关性可能会放大标准误差。这表明，在多重共线性的情况下，参数估计的精度较低。预测的准确性通常不会因此受到太大的影响，但是如果你想要进行推断(例如，重要性测试)，这可能是一个更大的问题。如果预测因子有很强的相关性，那么您可能会更好地选择您的回归模型的最佳预测因子，或者首先进行某种降维(例如，PCA)。

Answer 2

通常使用方差通货膨胀系数(VIF)来确定某些变量是否(过强)相关。VIF = 10是一个公认的包含/排除变量的阈值。因此，与“太高”相关性的变量也应排除在线性回归("OLS")，如描述的这里和这里。

Answer 3

多重性不一定是回归的问题，它只是生活中的一个事实。除非你能使用一个设计好的实验，否则“在自然界”的变量往往是相互关联的，你必须接受这一点。当然，如果自然是正交的(统计)生命会更简单.

所有这些都在我们的姐妹站点交叉验证中进行了大量讨论，例如参见多重共线性真的是个问题吗？。

多重共线性与微数字14上有一个经济学博客，取笑不必要的对colinearity的关注。