Tfidf矢量器

Question

我从文本评论中获取了一个用于预测情绪的数据集，最初，我清理了数据(删除标点符号，删除停用词，标记化)。当我尝试将标记化的数据作为TFIDF向量器的输入时，我得到的是AttributeError：'list‘对象没有'lower’属性。请帮我改掉这个错误。

​

TFIDF Vectorizer

2[

]2：https://i.stack.imgur.com/VSsHu.png

​

​

Answer 1

TF-IDF矢量化与原始(即，未标记化)文本一起工作，并自行进行标记化。

fit_transform方法需要字符串的可迭代。应用NLTK标记器将评论字符串转换为字符串列表(标记列表)。

如果您出于某种原因不信任scikit-learn中的内部记号赋予器，您可以自定义记号赋予器：

tfidf = TfidfVectorizer(tokenizer=nltk.word_tokenize)