Linux系统上大型稀疏矩阵的scipy.sparse.linalg.spsolve惊人行为

Question

我正在计算线性系统Ax=b的解，A是一个大的(通常是200,000行和列)的相关稠密矩阵，b是一个约100列的稀疏矩阵。

当我在Windows上运行我的代码(Python 2.7，the 0.14.0)时，下面的命令如下

from scipy.sparse.linalg import spsolve
...
Temp = spsolve(A.tocsc(),b.tocsc())

运行平稳，需要大约7GB内存内存。

在Linux系统上以完全相同的矩阵运行完全相同的代码(相同的CPU，相同的内存容量: 64 GB，Linux 17.3，python 2.7，scipy 0.13.3)需要超过20 GB的内存，并与以下错误消息崩溃：

<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory (见1)

由于此错误与os有关，所以我排除了有关矩阵A和b的任何问题(与所提到的解决方案在这个岗位上相反)，并且我正在试图找到一个特定于Linux的修补程序.但我不知道从哪里开始..。有人会知道发生了什么事吗？为什么这样的问题会针对Linux系统呢？

请在下面找到完整的错误消息：

Exception in Tkinter callback Traceback (most recent call last): File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__ return self.func(*args) File "...", line 1533, in mmvConstruction ... File "...", line 1555, in modes_cb Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc()) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve Afactsolve = factorized(A) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized umf.numeric(A) File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric umfStatus[status])) RuntimeError:<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory

​

​

更新：还在找出解决方案.在Linux上的最新版本BLAS似乎已经很老了: 1.8.2。在Windows上，我使用BLAS 1.9.1。当使用test_numpy.py文件时，我注意到Linux和小矮子之间有很大的不同： Linux ：version 1.8.2，maxint 9223372036854775807，dot: 0.76s-：version 1.9.1，maxint 2147483647，dot: 0,037。我正在研究在Linux上OPENBLAS是否可以解决这个问题.

更新2:我意识到这个问题可能与硬件有关。事实上，在同一个Linux发行版(Rosa17.3)上拥有完全相同库的旧PC提供了更令人满意的结果。第一次更新中提到的基准在这个旧PC上提供：Linux：Version1.8.2，maxint 9223372036854775807，dot: 0,054 s。

Answer 1

经过彻底调查，我现在确信，我遇到的问题与Linux (Rosa17.3)可能不适合最近的处理器这一事实有关。

我在文章更新中提到的比较强调了软件安装是正确的。然后，我在我的PC上安装了Fedora 23，按顺序安装：

• 利布拉斯
• python
• 蟒蛇

然后，我使用完全相同的矩阵运行完全相同的代码，没有任何问题:内存消耗限制在大约7 GB，类似于在Windows系统上所观察到的。