在Scikit中学习CountVectorizer

Question

我不确定在创建vectorizer = CountVectorizer类的实例时，vectorizer = CountVectorizer(tokenizer=word_tokenize)和CountVectorizer有什么不同

请帮我说清楚。谢谢您抽时间见我。

Answer 1

默认情况下，CountVectorizer不对输入进行标记化。标记化是对输入字符串的各个部分进行划分和分类的过程。换句话说，它将像'This is the input'这样的长字符串转换为序列：

['This', 'is', 'the', 'input']

如果在CountVectorizer中使用callable指定tokenizer参数，它将使用此函数来标记化输入(source)。