线性回归中的协方差矩阵

Question

我读过线性回归和解释OLS结果，即系数，t-值，p-值.但在线性回归中找不到任何与协方差矩阵相关的材料。

我读到了线性回归中的假设，偶然发现了异方差这个术语，并正在研究它的后果。因此，在讨论堆栈交换中关于异方差性后果的一个答案时，我遇到了一个术语协方差矩阵。这里有一个指向StackExchange的链接

什么是协方差矩阵，人们应该如何解释它？

Answer 1

最小二乘假设之一是零条件平均假设，它表示E[u|X]=0，因此误差平均为0。

另一个假设是同方差，这意味着在残差E[u u'|X]=\sigma I中不存在(自)相关性。所以协方差矩阵(有时也称为方差协方差矩阵)是：

\sigma I = \sigma \left[ \begin{array}{rrrr} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 \\ \end{array}\right] = \Omega .

重要的是，矩阵中的所有元素(除了从左上角到右下角的对角线元素)都是零，这意味着“残差之间没有相关性”。还有一个常数方差等于\sigma。

在\Omega \neq \sigma I情况下，您将面临异方差，您需要“建模”\Omega，例如“可行的广义最小二乘”(FGLS)。

假设您有一个线性模型y=X\beta+u和E(u^2)=exp(Z\gamma)。这里，exp(Z\gamma)是一个描述条件方差的条件函数的例子。为了获得\gamma的一致估计，首先需要获得u的一致估计。这可以通过使用OLS来获得\hat{\beta}和\hat{u}来完成。

在此基础上，可以运行辅助线性回归\log \hat{u}^2 = Z \gamma + v ，得到\hat{\gamma}的估计值。这些估计可以用来计算\hat{\omega} = (\exp(Z\hat{\gamma}))^{1/2}。最后，利用加权最小二乘法( \beta )给出了\hat{\omega}的FGLS估计，称为可行加权最小二乘。

见Davidson/MacKinnon：“计量经济学理论和方法”，Ch。7.4。