如果列中的所有标记都包含python中的from停止词列表，如何筛选行？

Question

假设我有一个数据中心：

Sentences              Group
It is you                0
She likes flower         1
She hates gardening      2

以及一份停车名单：

from nltk.corpus import stopwords
stop_words = stopwords.words('english')

如果列df['Sentences']中的所有标记/单词都包含stop_words列表中的任何标记/单词，如何删除行。因此，我的结果应该是这样的：

Sentences              Group
She likes flower         1
She hates gardening      2

Answer 1

可以用空格分隔列，然后比较列表：

df = df[~df['Sentences'].apply(lambda r: list(set(r.split(' ')).intersection(stop_words))!=[] )]

~的意思是“不包含”以下行。

Answer 2

这是我的解决方案：

filtered_df = df[~df['Sentences'].str.split().apply(lambda x: any(s for s in x if s in stop_words))]

先分句。然后检查句子中的任何单词是否也在你的stop_words中。如果其中有一个单词，any将返回True。我们用~来逆转这一点。