我能用蒙面语言模型和下一个句子预测来微调伯特吗？

Question

因此，如果我正确理解，主要有两种方法使伯特适应特定的任务:微调(所有的权重都改变了，甚至是预先训练的)和基于特征的(预先训练的权重被冻结)。不过，我很困惑。

1. 什么时候用哪一个？如果您有未标记的数据(无监督的学习)，那么您应该使用微调吗？
2. 如果我想对伯特进行微调，那么使用蒙面语言模型和下一个句子预测不是唯一的选择吗？还有:是否有必要在上面再加一层神经网络？

谢谢。

Answer 1

你的第一个方法应该是尝试训练前的重量。一般来说，它工作得很好。但是，如果您正在处理一个不同的领域(例如:医学)，那么您将需要对来自新域的数据进行微调。同样，您可能能够在域上找到经过预先训练的模型(例如：BioBERT)。

对于添加层，根据任务的不同有一些不同的方法。例如:要回答问题，请看一看坦达论文(转换和调整经过预先训练的变压器模型，以供选择答案)。这是一个非常好的，易于阅读的文件，它解释了转移和适应策略。再次，拥抱脸已经修改和预先训练的模型，为大多数标准任务。