CountVectorizer仅返回零

Question

我正在尝试从给定的文档中提取一些特征，给定一组预定义的特征。

from sklearn.feature_extraction.text import CountVectorizer
features = ['a', 'b', 'c']
doc = ['a', 'c']

vectoriser = CountVectorizer()
vectoriser.vocabulary = features
vectoriser.fit_transform(doc)

然而，输出是一个2x3数组，用零填充，而不是：

desired_output = [[1, 0, 0]
                  [0, 0, 1]]

任何帮助都将不胜感激

Answer 1

这是因为CountVectorizer中的默认标记模式将删除任何只有一个字符长度的单词。您可以更改默认令牌模式以修复此问题：

from sklearn.feature_extraction.text import CountVectorizer
features = ['a', 'b', 'c']
doc = ['a', 'c']

vectoriser = CountVectorizer(vocabulary=features, token_pattern=r"\b\w+\b")

vectoriser.fit_transform(doc)