自然语言处理单词联想

Question

我的项目需要一些自然语言处理。我对这个领域完全陌生。

我试图得到的是，当用户输入一个字符时，我想要获得一个可以跟随该特定字符的英文字符列表，以便创建一个合法的单词。

在NLP中，这样做的具体术语是什么？我试着用谷歌搜索了一段时间，但没有运气，因为我不知道这个术语。有什么好的教程可以作为起点吗？在完成这项特定任务时，有没有好的库？

谢谢。

Answer 1

欢迎来到NLP社区。

您要查找的术语很可能是query prediction或sentence prediction。例如，当你在google中输入一些字符时，它会开始预测你可能想要搜索的某些单词/短语。在技术背后，他们使用(a)基于语言的启发式方法和(b)基于用户的搜索历史来训练他们的模型。他们叫它Google Instant，看看http://www.google.com/insidesearch/

如果你正在寻找sentence/word prediction，那么它更像是当你使用手机时，有一个功能可以帮助你更快地打字，从技术上讲，它是call autocomplete (https://en.wikipedia.org/wiki/Autocomplete)，参见https://en.wikipedia.org/wiki/Autocomplete。现代的autocomplete利用自然语言处理从语法/语义上预测跟在你输入的单词后面的单词。

正如@evan所说，markov chain是一种从你的训练数据中学习模式的方法，然后在测试你的系统时，它可以根据你实现的任何启发式/统计预测来猜测单词。请参阅https://en.wikipedia.org/wiki/Markov_chain

Answer 2

看看语言模型，以及字母频率。马尔可夫链也经常用于这类问题。