加载用np.save保存的稀疏矩阵

Question

我用np.save('X', X)保存了一个枕形的csr矩阵。当我用np.load('X.npy')加载它时，我得到了以下内容：

array(<240760x110493 sparse matrix of type '<class 'numpy.float64'>' with 20618831 stored elements in Compressed Sparse Row format>, dtype=object)

但是，我不能使用索引(如X[0,0]或X[:10,:10] or X[0]都给出错误IndexError: too many indices for array)和调用.shape返回()来访问这些数据。

是否存在访问这些数据的方法，或者它现在是否已损坏？

编辑。

由于有3种保存/加载矩阵的选项，所以我进行了速度比较，看看哪种方法对稀疏矩阵最有效：

编写稀疏矩阵：

%timeit -n1 scipy.io.savemat('tt', {'t': X})
1 loops, best of 3: 66.3 ms per loop

timeit -n1 scipy.io.mmwrite('tt_mm', X)
1 loops, best of 3: 7.55 s per loop

timeit -n1 np.save('tt_np', X)
1 loops, best of 3: 188 ms per loop

读取稀疏矩阵：

timeit -n1 scipy.io.loadmat('tt')
1 loops, best of 3: 9.78 ms per loop

%timeit -n1 scipy.io.mmread('tt_mm')
1 loops, best of 3: 5.72 s per loop

%timeit -n1 np.load('tt_np.npy')
1 loops, best of 3: 150 ms per loop

结果表明，mmread/mmwrite非常低(大约慢了100倍)，而savemat/loadmat比save/load快3-10倍。

Answer 1

让我们注意印刷品中的所有线索

array(<240760x110493 sparse matrix of type '<class 'numpy.float64'>'
     with 20618831 stored elements in Compressed Sparse Row format>, dtype=object)

最外层：

array(....,dtype=object)

稀疏矩阵不是常规数组；对np.save来说，它只是一个Python对象。因此，它将它封装在一个dtype=object中并保存了它。它是一个0d数组(因此是()形状)，所以所有的索引尝试都失败了。试一试

M=arr.item() # or
M=arr[()]

现在，M应该显示为：

sparse matrix of type '<class 'numpy.float64'>'
     with 20618831 stored elements in Compressed Sparse Row format

具有像M.shape这样的属性。M.A将显示密集的表单，因为它太大了，无法有效地实现这一点。