多语言搜索匹配

Question

假设我们的名称是用任何无-拉丁字母-语言写成的，比如Arabic, Hebrew, Chinese, Japanese等等。

search engine如何在同名的original name和English spelling之间匹配。反之亦然？

类似于日语中的名字拓海和English拼写Takumi。

algorithm/technique用来做这个的是什么？

Answer 1

日安。

你必须做以下工作：

把世界上的每一个郎都用同样的符号分类：

all langs:

• a b c d e f g.
• 俄语33个字母aбвгде..。
• 中文x字母..。
• 乌克兰字母aбвгд.i
• 日文x字母..。
• .

最后，你将有规则之间的任何符号拼写在任何语言。有些语言，如印地语、汉语等，将不会有任何规定。你应该创建你自己的规则(基于这个语言的转录)。

algo:

wп= wep

E、e、r

E- eng r- rus转录п=p

Answer 2

搜索引擎(如Google)可能有大量的数据集(语料库)，每个语料库都使用不同的语言。

当您想要将一种语言中的单词翻译到另一种语言时，可以通过在第一语言的语料库中搜索单词，然后在第二语言的语料库中返回兼容的单词。(相同的名称技术)

这是基本的想法。

您最好在这里阅读有关NLP字段的一些背景信息：processing