目前,我正在使用nlp和python进行一个项目。我有内容,需要找到语言。我在用空间探测语言。图书馆只提供英语语言。我想知道它是英国英语还是美国英语?有什么建议吗?
我试过Spacy,NLTK,lang-检测。但是这个图书馆只提供英语。但我需要在英国和美国分别显示为en-GB和en-US。
发布于 2019-10-01 09:41:54
你可以训练你自己的模特。关于英语的许多地理上的具体数据是莱比锡大学收藏,但不包括美国英语。美国民族语料库应该是您可以使用的免费子集。
一个流行的语言langid.py库允许对您自己的模型进行培训。他们有一个不错的github教程。他们的模型是基于字符三克频率的,在这种情况下,这可能不是完全不同的统计数据。
另一种选择是在伯特的基础上训练一个分类器,例如,Pytorch和转运体库。这肯定会有很好的效果,但是如果你没有深入学习的经验,你可能会有很多工作要做。
https://stackoverflow.com/questions/58181798
相似问题