如果我有一个给定的文本(长的还是短的),你通常用哪种方法来检测它是用哪种语言写的?
很明显:
我想到的最简单的事情是:
。
但我想还有更好的方法。我并不是在寻找现有的项目(这些问题已经得到解答),而是寻找诸如隐马尔可夫模型、神经网络、…之类的方法。无论用于这项任务的是什么。
发布于 2012-05-17 13:20:52
在我正在研究的产品中,我们使用基于字典的方法。首先,计算训练语料库中所有单词的相对概率,并将其存储为一个模型。
然后逐字逐句地处理输入文本,以查看特定模型是否提供最佳匹配(比其他模型更好)。
在某些情况下,所有的模型都提供了相当糟糕的匹配。
很少有有趣的观点:
的情况。
此外,为了更好地检测,我们正在考虑添加按字符的模型,正如您所描述的(某些语言有某些独特的字符)。
顺便说一句,我们用ICU库来分割单词。适用于欧洲和东方语言(目前我们支持中文)。
发布于 2012-05-18 17:16:30
检查卡夫纳和特伦克尔算法。
https://stackoverflow.com/questions/10634998
复制相似问题