NLP -将主题与文档进行匹配

Question

我们正在处理一个大的文档列表(类似于产品描述)，并希望找出它们是否涉及给定的主题(即赌博)。我们目前的方法是手动定义一组关键字，然后使用Spacy的短语匹配器来查找任何匹配的关键字。我们使用所有预先训练好的属性，比如lower和lemma。然而，这个过程的效率并不是很高。还有没有其他可用的库？或者根本不同的方法？

由于我们没有自己训练模型的数据，我们正在寻找预先训练好的模型。

其他方法包括使用NLTK的词干分析器(Lancaster和Snowball)。

另一个要求是语言(文本是英语、德语、意大利语和法语)。

Answer 1

您可能需要考虑将文本分类器添加到spacy管道中。有关详情，请访问https://spacy.io/usage/training#textcat。