Python word_tokenize

Question

我对蟒蛇很陌生。我在找我短信的频率分布。这是密码，

import nltk
nltk.download()
import os
os.getcwd()
text_file=open(r"ecelebi\1.txt","r")
p = text_file.read()
words = nltk.tokenize.word_tokenize(p)
fdist= FreqDist(words)
print(fdist)

问题是程序没有给出任何错误或解决方案。它只是把这个还给你

>>> ================================ RESTART ================================
>>> 
showing info http://nltk.github.com/nltk_data/

我认为问题在于word_tokenize()。如果你能帮忙，我会很感激的。谢谢。

Answer 1

您的问题是，您试图在脚本中运行nltk.download()，而GUI却隐藏在页面后面的某个地方。

通常，nltk.download()通常在Python解释器中运行，它允许您下载各种数据集和corpuse (corpii :P)，以便与nltk一起使用。您通常只需要这样做一次，只有再次使用它，如果你想更新你的身体。--您不必每次运行脚本时都运行它。

假设您已经在Python解释器中运行了nltk.download()，那么您将获得某种形式的GUI，或者如果您无法访问GUI(例如，如果您在没有X转发的情况下运行SSHd )，那么它将是一个命令行界面。您可以使用这个下载数据。我建议你全部下载，除非你需要空间。

一旦您运行了nltk.download()并下载了您认为需要的所有内容，那么下面的代码就可以工作了。

import nltk
import os

os.getcwd()
text_file=open(r"ecelebi\1.txt","r")

p = text_file.read()
words = nltk.tokenize.word_tokenize(p)

fdist= nltk.FreqDist(words)
print(fdist)

注意，命令是nltk.FreqDist__，而不是FreqDist__，因为函数位于nltk命名空间中。