如何在python中使用HashingVectorizer获取特性名称？

Question

我想要制作一个二维二进制数组(n_samples，n_features)，其中每个示例都是一个文本字符串，每个特性都是一个单词(Unigram)。

问题是样本数为350000，特征数为40000，但我的内存大小仅为4GB。

1. 使用CountVectorizer后，我会收到内存错误。那么，还有其他方法(比如迷你批次)来做这件事吗？
2. 如果我使用HashingVectorizer，那么如何获得feature_names？也就是说，哪个列对应于哪个特性？，因为get_feature_names()方法在HashingVectorizer中不可用。

Answer 1

1. 迷你批次不支持在计数器。但是，sklearn的散列向量器有您可以使用的partial_fit()。
2. 引用sklearn文档的话说：“没有办法计算逆变换(从特征索引到字符串特征名)，当试图内省哪些特性对模型最重要时，这可能是一个问题。

Answer 2

要获取HashingVectorizer的特征名，您可以获取文档的随机样本，为它们计算散列，并通过这种方式了解哪个哈希对应于哪个标记。这并不完美，因为可以有与给定列对应的其他标记，并且可能会发生冲突，但这通常足以检查向量化结果(或者使用散列特征的线性分类器的系数)。

一个无耻的即插即用https://github.com/TeamHG-Memex/eli5包实现了以下功能：

from eli5.sklearn import InvertableHashingVectorizer

# vec should be a HashingVectorizer instance
ivec = InvertableHashingVectorizer(vec) 
ivec.fit(docs_sample)  # e.g. each 10-th or 100-th document
names = ivec.get_feature_names()

还请参阅：调试散列向量器文档中的eli5部分。