在处理和分类自然语言的库/开源软件方面,有哪些可用的?我有一个充满字符串的数据库,这些字符串是对特定项目的用户描述。我想对这些词进行分类,以剔除无用的词,并做出有根据的猜测,以确定该项目属于哪一类(例如,科技、体育、音乐)。
我意识到这是一个相当具体的要求,我的自然语言处理知识非常有限。我想知道做出这种预测的最好的,如果可能的话,最便宜的计算方式是什么?
我更喜欢用Ruby来做这件事,不过,Python或Java也可以接受。
发布于 2011-03-26 09:16:57
至于Python,目前我可以推荐你研究一下:
它有很好的文档,在自然语言处理领域有很多功能。此外,在Ubuntu存储库中有一个包(python-nltk),因此很容易安装和试用。
在大多数情况下,您需要访问高质量的语料库。
发布于 2011-03-26 10:36:48
发布于 2011-03-26 11:55:40
任何编程语言的顶级语言库之一就是Wordnet。它用于解析文本,分解文本,并确定词性。如果你看过IBM的Watson在电视节目Jeopardy上的竞争,你就会看到Wordnet的行动,因为它是使用的技术之一。
这里有一个"WordNet for Ruby“的宝石。我没有用过,但我已经用过Wordnet很多次了。希望Wordnet的安装会变得更容易,因为它在过去是一种痛苦。
Perl有我用过的Lingua::Wordnet模块。此外,快速搜索"Python + wordnet“会返回几个结果。
https://stackoverflow.com/questions/5439672
复制相似问题