怎样才能让“老师”和“老师”得到相似的对待？

Question

Who teaches English?

现在，在标记之后，堵塞..。它给了我

Who, teach, English

在我的单词列表中，我有一个词叫做

teacher

因材施教，因材施教，因材施教。

甚至，计算edit_distance也解决不了这个问题。就像，edit_distance最终是2岁。

现在，我该怎么做才能让老师和老师相提并论呢？类似地，可能还有其他的例子，在结尾还有额外的“S”。有什么能解决这个问题的根源吗？有什么解决办法吗？

其他类似的例子可以是:指导员和指导者。

Answer 1

用一种好斗的阻击器。兰开斯特史泰默是最具侵略性和最受欢迎的词干器。

下面是Python代码：

from nltk.stem.lancaster import LancasterStemmer

lancaster_stemmer = LancasterStemmer()
assert 'teach' == lancaster_stemmer.stem('teacher') == lancaster_stemmer.stem('teaches')

Answer 2

看看快件。Fasttext的工作原理类似于word2vec，因为您可以创建单词嵌入，然而，它实际上分析字符n-gram，以强制语法与您所想的相似。