针对特定于上下文的嵌入角色微调BERT模型

Question

我正在试图找到关于如何训练BERT模型的信息，可能是从Huggingface Transformers库中，以便嵌入它的输出与我正在使用的文本的上下文更紧密地相关。

然而，我能找到的所有例子都是关于为另一个任务微调模型的，比如classification。

有没有人碰巧有一个BERT微调模型的例子，用于掩蔽标记或下一句预测，输出另一个根据上下文微调的原始BERT模型？

谢谢!

Answer 1

下面是Fine tuning a language model for masked token prediction上的Transformers库中的一个示例。

所使用的模型是BERTForLM家族中的一种。其思想是使用TextDataset创建一个dataset，它对文本进行标记化并将其分成块。然后在训练时使用DataCollatorForLanguageModeling随机掩码块中的标记，并将模型、数据和排序器传递给Trainer以训练和评估结果。