为什么主成分是最大方差的方向？

Question

主成分分析中的变异数据指的是什么？我的意思是，假设我们有5个特征，或者我们可以说，5个维度，那么数据的变化会是什么？意思是，它指的是数据在每个特征中的变化吗?为什么PCA是数据最大变化的方向？

Answer 1

交叉验证的这答案为您的问题提供了很好的答案。

最重要的是，要回答和为什么主成分分析是数据最大变化的方向?我建议阅读信息论的一些基本知识，这篇博客文章提供了一个关于这个主题的很好的介绍。给出一个具体的例子，假设在你的5个特性中，你有一个向量，它是所有的。它并不能帮助您，这是很直观的；所有的示例都有相同的特性。这一特殊特性的差异将为零-它不包含任何信息。零熵，一个完美的顺序，如果你愿意的话，意味着没有任何改变，沿着给定的方向:一个明确的候选人将从数据中删除。增加方差=增加信息含量。