伯特只有在微调时才需要有监督的数据吗？

Question

我读过很多文章和论文，提到了如何进行无监督的培训，而培训前的伯特模型。我想知道是否有可能在没有监督的情况下微调一个伯特模型，还是总是需要监督？

Answer 1

在这里，有监督和无监督之间的区别有点棘手。对于下游任务，伯特的预训练是不受监督的，但从技术上讲，培训本身就是一个有监督的学习任务。BERT被训练来预测输入中隐藏的单词，因此目标词在训练时就知道了。因此，“无监督微调”一词在这里有点混乱。

如果我们用一种聪明的方式(例如，使用一种叫做iPET的方法)，我们可以使用它的语言建模能力在一个(几乎)零射击设置中执行一些任务，这基本上意味着伯特学会了以一种没有监督的方式来执行任务。然而，这是有争议的，如果这可以称为无监督微调。

伯特当然可以通过持续的预训练，以一种没有监督的方式进行微调。它可以被看作是模型域自适应的一种方式，这通常是伴随着有监督的微调。假设您想要对合法文本执行一项任务，这样您可以首先使用大量的纯文本对BERT进行调整，然后在小得多的标记数据上对其进行微调。