我需要从Facebok和Twitter提取帖子和推文到我们的数据库中进行分析。我的问题是系统只能处理英语句子(短语)。那么,我如何从我的数据库中删除非英语的帖子和推文呢?
如果您确实知道NLP中的任何算法都可以做到这一点,请告诉我。
感谢并致以问候
发布于 2011-07-13 18:19:33
我发现这个项目,源代码很清楚。我已经测试过了,它运行得很好。http://code.google.com/p/guess-language/
发布于 2011-07-13 00:32:12
在可能的情况下避免自动语言识别通常是可取的-例如,https://dev.twitter.com/docs/api/1/get/search显示返回的tweet包含一个字段iso_language_code,这可能会有所帮助。
如果这还不够好,你要么
发布于 2011-07-13 03:40:36
找一本英语词典,看看你课文中的大部分单词是否都在里面。由于您正在查看在线文本,因此一定要包含常用的俚语和缩略语。
如果将字典存储在trie数据结构中,则运行速度会非常快。
我认为花哨的NLP对于这个任务来说有点过头了。如果不是英语,你不需要识别语言,所以你所要做的就是用英语的一些简单特征来测试你的文本。
https://stackoverflow.com/questions/6667160
复制相似问题