在谷歌上搜索后,我不知道任何标准的方法或库来检测特定的单词是否属于哪种语言。
假设我有任何单词,我如何才能找到它是哪种语言:英语、日语、意大利语、德语等。
有没有适用于C++的库?在这方面的任何建议都将非常感谢!
发布于 2011-04-04 19:50:53
我假设您使用的是文本,而不是语音。
如果你正在使用UNICODE,那么它已经为每种语言提供了插槽。
因此您可以确定特定单词所有字符都在此语言槽中。
有关unicode语言槽的更多帮助,可以在here上找到。
发布于 2011-04-05 04:32:01
从单词中进行简单的语言识别很容易。你不需要理解文本的语义。你不需要任何计算量大的算法,只需要一个快速的哈希图。问题是,你需要大量的数据。幸运的是,您可能会找到您所关心的每种语言的单词字典。为每种语言定义一个位掩码,这将允许您将像"the“这样的单词标记为在多种语言中都能识别。然后,将每种语言字典读取到您的哈希图中。如果单词已经出现在不同的语言中,只需标记当前语言即可。
假设一个给定的单词是英语和法语。然后,当你查找它时,ex(“商业广告”)将映射到英语|法语,假设英语= 1,FRENCH=2,...你会找到值3。如果你想知道单词是否只在你的语言中,你可以测试:
int langs = dict["the"];
if (langs | mylang == mylang)
// no other language既然会有其他语言,可能更通用的方法会更好。对于矢量中设置的每个位,将相应的语言加1。对n个单词执行此操作。在大约n=10单词之后,在一个典型的文本中,主要语言有10个,相关语言(如英语/法语)可能有2个,你可以很有可能确定该文本是英语。记住,即使你有一种语言的文本,它仍然可以用另一种语言引用,所以仅仅出现一个外来词并不意味着文档是用这种语言写的。选择一个阈值,它会工作得很好(而且非常非常快)。
显然,最困难的事情是阅读所有的字典。这不是代码问题,而是数据收集问题。幸运的是,那是你的问题,不是我的。
为了快速实现这一点,您需要预先加载散列映射,否则最初加载它将是有害的。如果这是一个问题,您将不得不为散列映射编写store和load方法,以便高效地块加载整个内容。
发布于 2012-12-04 16:31:31
我发现Google's CLD非常有用,它是用C++编写的,来自他们的网站:
"CLD (紧凑型语言检测器)是嵌入在谷歌浏览器中的库。该库从提供的UTF8文本(纯文本或超文本标记语言)中检测语言。它是用C++实现的,具有非常基本的Python绑定。“
https://stackoverflow.com/questions/5537818
复制相似问题