如何微调我的训练模型(伯特)在另一个数据集

Question

*我使用经过预先训练的BertModel在squadv1上微调模型，然后微调结果模型到最终模型。

这就是我如何在squadv1上加载我的三重模型的方法

output_dir="mybert_squadv1/checkpoint-60000/"
model = AutoModelForQuestionAnswering.from_pretrained(output_dir)
tokenizer = AutoTokenizer.from_pretrained(output_dir, do_lower_case=do_lower_case)

在将模型加载到dataset上之后，我希望在另一个数据集上微调此模型。让我们说，squadv3，我能不能这样做？如果是的话，我怎么能做到呢？

Answer 1

你只需要得到记号器。在那之后，你应该在那之后加上你自己的神经网络和损失函数。你可以看到如何训练一个正常的网络。