首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用什么方法识别文字是用什么语言写的?

问用什么方法识别文字是用什么语言写的?
EN

Stack Overflow用户
提问于 2012-05-17 11:37:25
回答 2查看 199关注 0票数 2

如果我有一个给定的文本(长的还是短的),你通常用哪种方法来检测它是用哪种语言写的?

很明显:

  • 你需要一个训练语料库来训练你使用的模型(例如,神经网络,如果使用)

我想到的最简单的事情是:

  • 检查文本中使用的字符(例如,hiragana只在日语中使用,Umlauts可能仅在欧洲语言中使用,在法语、土耳其语和…中使用)将检查增加到两个或三个字母对,以查找language
  • Lookup字典的特定组合,以检查哪种单词出现在哪种语言中(可能只是没有词干,因为词干取决于语言)

。

但我想还有更好的方法。我并不是在寻找现有的项目(这些问题已经得到解答),而是寻找诸如隐马尔可夫模型、神经网络、…之类的方法。无论用于这项任务的是什么。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-05-17 13:20:52

在我正在研究的产品中,我们使用基于字典的方法。首先,计算训练语料库中所有单词的相对概率,并将其存储为一个模型。

然后逐字逐句地处理输入文本,以查看特定模型是否提供最佳匹配(比其他模型更好)。

在某些情况下,所有的模型都提供了相当糟糕的匹配。

很少有有趣的观点:

  1. ,因为我们正在使用社交媒体,无论是标准化的还是非规范化的匹配都是尝试的(在这种情况下,规范化是从符号中删除对话)。非归一化匹配具有较高的权重
  2. ,这种方法在非常短的短语(1-2个单词)上效果很差,特别是当这些单词在少数语言中存在时,这是少数欧洲语言

的情况。

此外,为了更好地检测,我们正在考虑添加按字符的模型,正如您所描述的(某些语言有某些独特的字符)。

顺便说一句,我们用ICU库来分割单词。适用于欧洲和东方语言(目前我们支持中文)。

票数 2
EN

Stack Overflow用户

发布于 2012-05-18 17:16:30

检查卡夫纳和特伦克尔算法。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/10634998

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档