自然语言词关系网络如何

Question

我正在研究分析一些非常混乱的雇主姓名数据(应用程序中的自由文本字段)的最佳方法。当涉及到拼写、缩写甚至语言时，每个雇主可能有100种不同的变体。

什么是解决这个问题的最好、最准确的方法?什么工具最有效？我目前正在使用Base SAS，但我不认为这有能力做我需要的事情。

Answer 1

我不知道有什么工具可以神奇地为你解决这个问题。如前所述，我会尝试将列表中的每个雇主姓名与其他雇主姓名进行比较，并检查编辑距离。有一个非常容易使用的Levenshtein函数，只需：

import Levenshtein
ed = Levenshtein.distance('someString', 'someOtherString')

您可能希望通过以下方式将其标准化：

normalized = ed / max(len('someString'), len('someOtherString'))

然后看一遍列表，并根据这个进行清理。进行某种单词或ngram频率分析还可以快速找到一些您可能想要统一的常见缩写(‘kind’)。和“公司”，“有限公司”。和“有限”等。)