微调特定领域的Bert (无监督)

Question

我想在与特定领域(在我的例子中与工程相关)相关的文本上对BERT进行微调。训练应该是无人监督的，因为我没有任何标签或任何东西。这个是可能的吗？

Answer 1

实际上，您想要的是继续对来自特定领域的文本进行预训练BERT。在这种情况下，您要做的是继续将模型训练为掩蔽语言模型，但使用的是特定于领域的数据。

您可以使用Huggingface的变形金刚中的run_mlm.py脚本。