SVD是非线性的，PCA是线性的吗？

Question

我很困惑，因为我的一位同事最近告诉我，他更喜欢使用SVD而不是PCA (通过eigendecomposition)，因为与后者相反，前者是非线性的，因此它也可以识别一些非线性模式。

然而，我无法确切地看出SVD是如何非线性的，因为我的印象是它只是应用了一系列线性矩阵乘法(也请参阅这个StackExchange答案)。

我知道this当然是非线性的，因此有时被称为非线性PCA。

SVD是非线性的，PCA是线性的吗？

Answer 1

据我所知，不。

SVD和PCA都是线性降维算法。一些非线性降维算法有LLE、Kernel、Isomap等。

关于point，我想补充一点。它降低了维度(并且做得很好！)但它只是用于可视化，不能用于学习过程！所以要小心地把所有这些放在一起。换句话说，它们都是降维算法，而PCA和SVD可以用于特征提取，而they不能。所有这些都可以用于可视化目的(在EDA中)。

我当然推荐阅读这个答案。也许“XX^⊤的特征值的平方根是X__的奇异值”这一事实使你的朋友感到困惑，认为这是一种非线性方法。

希望能帮上忙。祝好运!

Answer 2

主成分分析( PCA )是一种创建translation+rotation矩阵的算法，具有以下性质:0列的标准差最高，第1列的标准差次之，等等。绘制它，你会看到！因此，您可以将列(0,1)绘制为(x，y)，并获得数据集的适度教育视图。这就是为什么它被称为维数约简算法。事实上，你可以保存所有的维度。

奇异值分解( SVD )是PCA的一种矩阵分解算法。它本身并不是一种降维算法。您可以使用它来学习分析您的数据，但不能通过维度缩减。SVD允许您根据行和列的异常值对它们进行排序，vs..s.其他行或列。SVD还可以让你看到数据中有多少熵。