从大型语料库生成n-gram

Question

我正在使用wikipidia语料库(17G)和python语言来获取n-gram模型。我使用过sklearn.feature_extraction.text.CountVectorizer，但它没有任何进度条或详细选项。有推荐的方法吗？

Answer 1

好的。解决方案很简单。编辑源代码，因为代码很容易理解。将tqdm添加到for循环。