首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >C++中的Word语言检测

问C++中的Word语言检测
EN

Stack Overflow用户
提问于 2011-04-04 19:29:53
回答 8查看 4.5K关注 0票数 6

在谷歌上搜索后,我不知道任何标准的方法或库来检测特定的单词是否属于哪种语言。

假设我有任何单词,我如何才能找到它是哪种语言:英语、日语、意大利语、德语等。

有没有适用于C++的库?在这方面的任何建议都将非常感谢!

EN

回答 8

Stack Overflow用户

回答已采纳

发布于 2011-04-04 19:50:53

我假设您使用的是文本,而不是语音。

如果你正在使用UNICODE,那么它已经为每种语言提供了插槽。

因此您可以确定特定单词所有字符都在此语言槽中。

有关unicode语言槽的更多帮助,可以在here上找到。

票数 -4
EN

Stack Overflow用户

发布于 2011-04-05 04:32:01

从单词中进行简单的语言识别很容易。你不需要理解文本的语义。你不需要任何计算量大的算法,只需要一个快速的哈希图。问题是,你需要大量的数据。幸运的是,您可能会找到您所关心的每种语言的单词字典。为每种语言定义一个位掩码,这将允许您将像"the“这样的单词标记为在多种语言中都能识别。然后,将每种语言字典读取到您的哈希图中。如果单词已经出现在不同的语言中,只需标记当前语言即可。

假设一个给定的单词是英语和法语。然后,当你查找它时,ex(“商业广告”)将映射到英语|法语,假设英语= 1,FRENCH=2,...你会找到值3。如果你想知道单词是否只在你的语言中,你可以测试:

代码语言:javascript
复制
int langs = dict["the"];
if (langs | mylang == mylang)
   // no other language

既然会有其他语言,可能更通用的方法会更好。对于矢量中设置的每个位,将相应的语言加1。对n个单词执行此操作。在大约n=10单词之后,在一个典型的文本中,主要语言有10个,相关语言(如英语/法语)可能有2个,你可以很有可能确定该文本是英语。记住,即使你有一种语言的文本,它仍然可以用另一种语言引用,所以仅仅出现一个外来词并不意味着文档是用这种语言写的。选择一个阈值,它会工作得很好(而且非常非常快)。

显然,最困难的事情是阅读所有的字典。这不是代码问题,而是数据收集问题。幸运的是,那是你的问题,不是我的。

为了快速实现这一点,您需要预先加载散列映射,否则最初加载它将是有害的。如果这是一个问题,您将不得不为散列映射编写store和load方法,以便高效地块加载整个内容。

票数 3
EN

Stack Overflow用户

发布于 2012-12-04 16:31:31

我发现Google's CLD非常有用,它是用C++编写的,来自他们的网站:

"CLD (紧凑型语言检测器)是嵌入在谷歌浏览器中的库。该库从提供的UTF8文本(纯文本或超文本标记语言)中检测语言。它是用C++实现的,具有非常基本的Python绑定。“

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5537818

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档