稀疏输入的非负矩阵分解

Question

谁能推荐一套工具，以执行标准NMF应用程序的稀疏输入数据矩阵的大小为50 kx50k，谢谢！

Answer 1

学习有一个稀疏矩阵的NMF的实现。不过，您将需要GitHub的尖端版本，因为所有发布的版本(包括0.14)都存在可伸缩性问题。下面是一个演示。

加载一些数据:20个新闻组文本语料库。

>>> from sklearn.datasets import fetch_20newsgroups
>>> from sklearn.decomposition import NMF
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.preprocessing import normalize
>>> data = fetch_20newsgroups().data
>>> X = CountVectorizer(dtype=float).fit_transform(data)
>>> X = normalize(X)
>>> X
<11314x130107 sparse matrix of type '<type 'numpy.float64'>'
    with 1787565 stored elements in Compressed Sparse Column format>

现在适合有10个组件的NMF模型。

>>> nmf = NMF(n_components=10, tol=.01)
>>> Xnmf = nmf.fit_transform(X)

我调整了容忍度选项，使之在几秒钟内收敛。对于默认的公差，它需要花费相当长的时间。此问题的内存使用量约为360 is。

免责声明：我是这个实现的贡献者，所以这不是没有偏见的建议。