numpy svd中的内存错误

Question

我在表演numpy svd

U, S, V = np.linalg.svd(A) 

A的形状是：

(10000, 10000)

由于大小，它给我的内存错误：

U, S, V = np.linalg.svd(A, full_matrices=False) # nargout=3
File "/usr/lib/python2.7/dist-packages/numpy/linalg/linalg.py", line 1319, in svd
    work = zeros((lwork,), t)
    MemoryError

那么我如何为我的矩阵找到svd？

Answer 1

一些小提示:关闭计算机上打开的所有其他内容。通过将不再需要的变量设置为None，删除程序中所有不必要的内存占用。假设你在之前的一些计算中使用了一个大字典D，但不再需要它，设置D= None。尝试使用dtype=np.int32或dtype=np.float32初始化numpy数组，以降低内存需求。

根据您需要SVD的用途，您还可以查看python的scikit-learn包，它们支持许多分解方法，如PCA和SVD以及稀疏矩阵支持。

Answer 2

有一种SVD的轻量级实现，称为thin-SVD。当你的基本矩阵大约是低等级时，它会被使用。根据一篇题为“为什么大数据矩阵近似于低秩？”的论文，考虑到你的矩阵的维度，它很可能是一个低秩矩阵，因为几乎所有的大矩阵都是低秩矩阵。因此，thin-SVD可以通过不计算所有奇异值及其奇异向量来解决这个问题。相反，它的目标是找到最高的奇异值。

要找到相应的实现，可以搜索: sklearn.decomposition.TruncatedSVD¶