多元高斯分布-协方差与线性相关

Question

从教授那里。Andrew的多元高斯分布讲座，协方差度量特征之间的线性相关性，在这种情况下，我们可以使用多元高斯分布和协方差矩阵。此外，如果特征是冗余的(对于ex: x1= 2*x2，特征之间存在明显的线性依赖)，则协方差矩阵不是可逆的，不能使用带有协方差矩阵的多元高斯分布。对我来说，这些说法似乎自相矛盾。

问:协方差-线性依赖与特征线性依赖有什么区别？

Answer 1

假设数据是多元高斯分布，协方差矩阵是特征之间线性关系的度量。

如果一个特征是其他特征的线性组合，则数据仍然可以假定为多元高斯分布。然而，由于存在线性依赖关系，矩阵是奇异的，因此无法计算逆。