主成分分析(PCA)算法

Question

我试着阅读了许多关于PCA的参考文献，并发现了不同之处。一些参考文献写了这个算法：

1. 准备初始数据(m )
2. 计算平均值
3. 用平均值减去初始数据
4. 计算协方差
5. 计算特征值和特征向量
6. 结果数据转换(m )

其他几个参考文献也写了这个算法：

1. 准备初始数据(m )
2. 计算平均值
3. 计算标准差
4. 计数z-得分=((初始数据-均值)/standard偏差)
5. 计算协方差
6. 计算特征值和特征向量
7. 结果数据转换(m )

我搞不懂哪一个是正确的算法。任何人都可以解释什么时候使用这些算法？

谢谢你的帮助

Answer 1

在我看来，您列出的算法之间唯一的区别是标准偏差的归一化。这是一个标准做法，以确保具有不同“范围”的值被重新调整到类似的范围。如果您的数据进行了类似的缩放，则此步骤并不是绝对必要的。您可以在这里找到更深入的讨论：https://stats.stackexchange.com/questions/134104/why-do-we-divide-by-the-standard-deviation-and-not-some-other-standardizing-fact

为了给出这样一个尺度问题的例子，我们可以想象多维数据，每个维度描述一个不同的质量。例如，第一个维度可以描述与某个对象的距离( mm )，范围为1000-3000，而其他维度则将对象颜色的R、G和B分量描述为浮动值，范围从0.0到1.0。为了确保每个维度都有相似的“影响”，我们将其除以标准差。