在复习中测试分类器

Question

好的，我已经能够用NaiveBayes算法训练我的电影评论分类器了。任务是：

测试你的分类器，以防止对行尸走肉的负面评论。http://metro.co.uk/2017/02/27/the-walking-dead-season-7-episode-11-hostiles-and-calamities-wasnt-as-exciting-as-it-sounds-6473911/#mv-a

现在，我的书给出了一个文档分类的例子，它使用了classifier.classify(df)....now，我知道这是文档特性，必须进行标记化等等。

我的问题是:是否有什么方法来测试我的分类器，而不是仅仅使用url来测试我的分类器？还是必须高亮显示评审中的所有单词，将其存储为字符串或文档，然后标记等等？

Answer 1

您的程序可以读取如下URL的内容：

with urllib.urlopen("http://example.com/review.html") as rec:
    data = rec.read()

但是，您建议的URL指向一个HTML文档，因此您需要“刮”内容(即，提取评审正文并通过删除粗体等方式将其转换为“纯文本”)。在你更进一步之前。为此，您可以使用BeautifulSoup或类似的东西。( NLTK过去有一个刮取函数，但为了支持BeautifulSoup而放弃了它。)除非您已经学会了如何这样做，否则通过将一些测试文档从浏览器复制到只有文本的编辑器(如记事本)上，获取一些测试文档确实会更简单，这样就可以删除所有的标记。