首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >只提取英语句子

问只提取英语句子
EN

Stack Overflow用户
提问于 2011-07-12 23:52:10
回答 6查看 566关注 0票数 2

我需要从Facebok和Twitter提取帖子和推文到我们的数据库中进行分析。我的问题是系统只能处理英语句子(短语)。那么,我如何从我的数据库中删除非英语的帖子和推文呢?

如果您确实知道NLP中的任何算法都可以做到这一点,请告诉我。

感谢并致以问候

EN

回答 6

Stack Overflow用户

回答已采纳

发布于 2011-07-13 18:19:33

我发现这个项目,源代码很清楚。我已经测试过了,它运行得很好。http://code.google.com/p/guess-language/

票数 1
EN

Stack Overflow用户

发布于 2011-07-13 00:32:12

在可能的情况下避免自动语言识别通常是可取的-例如,https://dev.twitter.com/docs/api/1/get/search显示返回的tweet包含一个字段iso_language_code,这可能会有所帮助。

如果这还不够好,你要么

  • 查找您正在使用的任何语言的现有语言标识库;或者
  • 获取足够数量的英语文本(比方说,英语维基百科或任何谷歌n元语法模型的转储)并实现类似于Google的东西
票数 4
EN

Stack Overflow用户

发布于 2011-07-13 03:40:36

找一本英语词典,看看你课文中的大部分单词是否都在里面。由于您正在查看在线文本,因此一定要包含常用的俚语和缩略语。

如果将字典存储在trie数据结构中,则运行速度会非常快。

我认为花哨的NLP对于这个任务来说有点过头了。如果不是英语,你不需要识别语言,所以你所要做的就是用英语的一些简单特征来测试你的文本。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6667160

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档