什么是奇异值分解(SVD)

Question

它实际上是如何降低noise..can的?你推荐了一些很好的教程？

Answer 1

SVD可以从几何意义上理解为方阵的向量上的变换。

考虑正方形n×n矩阵M乘以矢量v以产生输出矢量w：

w = M*v

奇异值分解M是三个矩阵M=U*S*V，w=U*S*V*v的乘积。U和V是正交矩阵。从几何变换的角度来看(通过乘法作用于向量)，它们是旋转和反射的组合，它们不会改变要相乘的向量的长度。S是一个对角矩阵，它表示沿n个轴中的每一个具有不同缩放因子(对角项)的缩放或压缩。

因此，向量v乘以矩阵M的效果是用M的正交因子V旋转/反射V，然后用对角线因子S缩放/压缩结果，然后用M的正交因子U旋转/反映结果。

从数值角度来看，奇异值分解是可取的一个原因是，正交矩阵的乘法是可逆和extremely stable运算(条件数为1)。SVD捕获对角线缩放矩阵S中的任何病态。

Answer 2

使用SVD降低噪声的一种方法是进行分解，将接近于零的分量设置为恰好为零，然后重新组合。

这是关于奇异值分解的online tutorial。

你可能想看看Numerical Recipes。

Answer 3

奇异值分解是一种将n×M矩阵M“分解”成三个矩阵的方法，使得奇异值分解( M=U_S_V )S是包含M的“奇异值”的对角正方形(唯一的非零项在从左上角到右下角的对角线上)矩阵。U和V是正交的，这导致了对奇异值分解的几何理解，但这对于降噪并不是必需的。

对于M=U_S_V，我们仍然拥有原始矩阵M，它的所有噪声都完好无损。然而，如果我们只保留k个最大的奇异值(这很容易，因为许多SVD算法计算S的条目按非递增顺序排序的分解)，那么我们就有了原始矩阵的近似值。这是因为我们假设较小的值是噪声，并且数据中更重要的模式将通过与较大的奇异值相关联的向量来表示。

实际上，所得到的近似是原始矩阵的最精确的秩-k近似(具有最小的平方误差)。