N-gram忽略换行符

Question

我对nltk比较陌生，但最近我遇到了一个问题，我似乎找不到解决方案。

我有一个这样的文本

Monkeys like bananas.

The sky is blue.

我正在尝试做二元语法，通过使用word_tokenizer，它创建了这些二元语法：

Monkeys like 1 like bananas 1 bananas The 1 The sky 1 sky is 1 is blue 1

我如何才能使它工作，这样它就不会创建二元语法

bananas The 1？

import nltk 
from nltk.util import ngrams
corpus = open("my.txt").read()
tokens = nltk.word_tokenize(corpus)
bigrams = ngrams(tokens,2)
print Counter(bigrams)

Answer 1

TLDR；

在使用二元语法之前使用sent_tokenize。(确保使用nltk.download(‘punkt’)安装punkt；

然后：

>>> x = nltk.sent_tokenize("The Monkeys like bananas. The sky is blue")
['The Monkeys like bananas.', 'The sky is blue.']

>>> for x in a:
...     list(nltk.bigrams(nltk.word_tokenize(x)))
...
[('The', 'Monkeys'), ('Monkeys', 'like'), ('like', 'bananas'), ('bananas', '.')]
[('The', 'sky'), ('sky', 'is'), ('is', 'blue')]

详细信息

1)你错过了二元语法的要点。

它们被用来训练引擎来识别搭配的单词。

因此，在使用二元语法之前，您必须对内容进行一点解析。因此，在上面的示例中，在使用二元语法之前先使用sent_tokenize，然后使用word_tokenize。您可能还希望通过适当的标记器对文本进行预处理，从而删除标点符号。