我的dataframe有一些名为:{'title', 'description', 'location'}的自由文本字段。
我准备了这篇文章的专栏:把所有的内容连成一个新的列,删除数字,删除少于3个字符的单词,等等。
作为准备的最后一步,我删除了停止词。所以,在这个时候,列可能只包含相关的关键字。
如何将这些关键字语句(每行几个单词,作为空格分隔的单词,仅在一个字符串列中)转换为虚拟列,并在每一行包含关键字时获得0-1值?
我正在检查CountVectorizer对象,但找不到像这个用例。所以,这可能不是正确的工具.
发布于 2019-08-08 08:43:50
假设您的数据文件名为df,带有预处理文本的列称为text。
正如您已经想到的,您想要做的是应用CountVectorizer。
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
count = CountVectorizer(binary = True)
bow = count.fit_transform(df['text'].values)
pd.DataFrame(bow.toarray(), columns = count.get_feature_names())如果从binary中删除CountVectorizer参数,您将得到关键字的实际频率,而不仅仅是0-1的外观。
https://datascience.stackexchange.com/questions/51295
复制相似问题