首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >英国英语和美国英语的Python NLP差异

问英国英语和美国英语的Python NLP差异
EN

Stack Overflow用户
提问于 2019-10-01 09:24:52
回答 1查看 541关注 0票数 0

目前,我正在使用nlp和python进行一个项目。我有内容,需要找到语言。我在用空间探测语言。图书馆只提供英语语言。我想知道它是英国英语还是美国英语?有什么建议吗?

我试过Spacy,NLTK,lang-检测。但是这个图书馆只提供英语。但我需要在英国和美国分别显示为en-GB和en-US。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-10-01 09:41:54

你可以训练你自己的模特。关于英语的许多地理上的具体数据是莱比锡大学收藏,但不包括美国英语。美国民族语料库应该是您可以使用的免费子集。

一个流行的语言langid.py库允许对您自己的模型进行培训。他们有一个不错的github教程。他们的模型是基于字符三克频率的,在这种情况下,这可能不是完全不同的统计数据。

另一种选择是在伯特的基础上训练一个分类器,例如,Pytorch和转运体库。这肯定会有很好的效果,但是如果你没有深入学习的经验,你可能会有很多工作要做。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58181798

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档