首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >ELMo/BERT预培训的参考文本

问ELMo/BERT预培训的参考文本
EN

Stack Overflow用户
提问于 2019-11-04 16:53:05
回答 1查看 82关注 0票数 0

方法问题: spaCy提到,如果你只有很少的数据,ELMo/BERT在自然语言处理任务中非常有效,因为这两种方法具有非常好的迁移学习特性。

我的问题是:相对于什么模型,迁移学习。如果你有一个狗的语言模型,那么为kangeroos找到一个好的语言模型会更容易(我的案例是与生物学相关的,有很多术语)?

EN

回答 1

Stack Overflow用户

发布于 2019-11-05 00:40:30

BERT和ELMo是在巨大的语料库上训练的(BERT是在16 of的原始文本上训练的)。这意味着,从这些模型生成的嵌入是通用的,这将在大多数任务中利用语言模型的功能。

由于您的任务是与生物学相关的,因此您可以考虑BioBERT (https://arxiv.org/abs/1901.08746)等替代方案

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58689911

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档