PCA、TruncatedSVD和ICA在细节上有什么区别？

Question

有人能详细告诉我主成分分析(PCA)、截断奇异值分解(TruncatedSVD)和独立分量分析(ICA)的区别吗？

Answer 1

详细的操作将需要很长一页的PDF文档:-)。

但这个想法很简单：

1. 主成分分析(PCA) -分析数据本机坐标。即沿数据有其最大能量(方差)的协调。对于维数d的n个样本，将存在$d$正交方向。也就是说，在它们上投影的数据没有相关性。如果我们把数据看作随机变量，就意味着我们找到了一个坐标系统，在这个坐标系中，投影数据中任意对的互相关(第一矩)消失了。 这是一种非常有效的方法，通过保持它的大部分能量来近似低维数据。
2. 截断的SVD -可以表明，计算这些坐标系的方法之一是使用SVD。因此，这是应用PCA背后的思想的方法。
3. 独立分量分析(ICA) -这是离PCA更远的一步。在PCA中，我们只处理ICA中数据的一阶矩(相关)，我们正在研究更高的矩，并试图找到一个数据投影，它消失了更高的矩(考虑缺乏相关性和概率独立性)。