首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我是否可以使用BERT作为一个功能提取器,而不对我的特定数据集进行任何细化?

问我是否可以使用BERT作为一个功能提取器,而不对我的特定数据集进行任何细化?
EN

Stack Overflow用户
提问于 2020-10-25 17:42:57
回答 2查看 2.1K关注 0票数 4

我试图解决一个由25K样本组成的相对平衡训练集和由~5K样本组成的评价集的10个类的多标签分类任务。

我用的是拥抱脸:

代码语言:javascript
复制
model = transformers.BertForSequenceClassification.from_pretrained(...

并取得了较好的结果(ROC AUC = 0.98)。

但是,我看到了一些奇怪的行为,我似乎没有意识到-

我添加了以下代码行:

代码语言:javascript
复制
for param in model.bert.parameters():
    param.requires_grad = False

在确保学习模型的其他层的同时,也就是:

代码语言:javascript
复制
[param[0] for param in model.named_parameters() if param[1].requires_grad == True]
gives
['classifier.weight', 'classifier.bias']

当像这样配置模型时,训练模型会产生一些令人尴尬的糟糕结果(ROC AUC = 0.59)。

我的工作假设,一个开箱即用的预先培训的伯特模型(没有任何微调)应该作为一个相对好的特征提取器的分类层。那我怎么搞错了?

EN

回答 2

Stack Overflow用户

发布于 2020-10-26 14:57:03

根据我的经验,你的假设是错误的。

,一个开箱即用的预先训练的伯特模型(没有任何微调)应该作为分类层的一个比较好的特征提取器。

我注意到了类似的经验,当我试图使用伯特的输出层作为一个字嵌入值时,几乎没有微调,这也给出了非常糟糕的结果;这也是有意义的,因为您实际上在最简单的输出层中有768*num_classes连接。与BERT的数百万参数相比,这给了您几乎可以忽略不计的高度模型复杂性的控制。然而,我也想要谨慎地指出,当你训练你的完整模型时,会有过度的效果,尽管我相信你知道这一点。

整个伯特的想法是,它是非常便宜的微调您的模型,因此,为了获得理想的结果,我建议不要冻结任何一层。一个可以帮助禁用至少部分层的实例是嵌入组件,这取决于模型的词汇表大小(BERT-base为30k)。

票数 3
EN

Stack Overflow用户

发布于 2020-10-29 13:09:26

我认为以下几点将有助于解开我早些时候在这里报告的奇怪行为-

首先,事实证明,当冻结伯特层(并且使用开箱即用的预先培训的伯特模型而不进行任何微调)时,分类层所需的训练时间远远大于允许学习所有层时所需的时间。

例如,

没有冻结伯特图层,我已经到达:

代码语言:javascript
复制
ROC AUC = 0.98, train loss = 0.0988, validation loss = 0.0501 @ end of epoch 1

ROC AUC = 0.99, train loss = 0.0484, validation loss = 0.0433 @ end of epoch 2

Overfitting, train loss = 0.0270, validation loss = 0.0423 @ end of epoch 3

然而,当冻结伯特层时,我已经达到:

代码语言:javascript
复制
ROC AUC = 0.77, train loss = 0.2509, validation loss = 0.2491 @ end of epoch 10

ROC AUC = 0.89, train loss = 0.1743, validation loss = 0.1722 @ end of epoch 100

ROC AUC = 0.93, train loss = 0.1452, validation loss = 0.1363 @ end of epoch 1000

从这些结果中得出的(可能的)结论是,使用开箱即用的预训练BERT模型作为特征提取器(即冻结其层),而只学习分类层则会受到underfitting.的影响。

这可以通过两种方式加以说明:

首先,在运行了1000次后,模型仍未完成学习(训练损失仍高于验证损失)。

第二,运行1000个历元后,损失值仍高于早在第一次使用不冻存版本时的损失值。

总之,“登宁格尔,我认为我完全同意你的观点:

的整个想法是,它是非常便宜的微调您的模型,因此,为了取得理想的结果,我建议不要冻结任何一层。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64526841

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档