如何用python对英语单词进行分类？

Question

如何用python对英语单词进行分类？比如国家和政府:政权，政治，政治家，官员，democracy......besides，还有其他的话题:教育/家庭/经济/学科等等。

我想整理“经济学人”杂志的词汇，并根据频率和主题对这些进行分类。目前，我已经完成了单词的频率统计，下一步是如何用python自动对这些单词进行分类？

Answer 1

你想要做的事情叫做“主题建模”。有很多方法可以做到这一点，但是通常一个简单的LDA模型就足够了。您也可以通过将TF-下手矢量化与LSA相结合来进行主题建模。这是比较两者的一个很好的指南。

Answer 2

听起来挺难处理的。而且，这也不是一项简单的任务。如果我是你，我会考虑两种方法来做你要做的事。

1. 为它制定你自己的规则

- If you complete counting the words, then you should match those word to topic. There is no free lunch. Make own your rule for classifying category. e.g. Entertainment has many "TV" and "drama" so If some text has it, then we can guess it belongs to Entertainment.

​

1. 机器学习。

- If you can't afford to make rules, let machine do it. But even in this case, you should label the article with your desired class(topics).
- Unsupervised pre-training(e.g. clustering) can also be used here. but at last, we need supervised data set with topics.
- You should decide taxonomy of topics.

​

欢迎来到ML世界。希望它能帮助我们找到正确的起点。