如何微调伯特自己的任务？

Question

我想用我自己语言的数据对伯特进行预培训，因为BERT的多语言(包括我的语言)模型并不成功。由于整个训练成本很高，所以我决定对其进行微调，包括两个任务:蒙面语言模型和下一个句子预测。以前有针对不同任务(NER、情感分析等)的实现，但我找不到对它自己的任务进行任何微调。有什么我看不到的实现吗？如果没有，我应该从哪里开始呢？我需要初步的帮助。

Answer 1

对于伯特来说，一个极好的资源是：https://github.com/huggingface/pytorch-pretrained-BERT。这个存储库包含op重实现、预培训的模型和Google的BERT模型的微调示例。

您可以在下面的链接中找到语言模型微调示例。该文件夹中的三个示例脚本可以使用预培训目标(蒙面语言建模和下一句预测损失的组合)微调预培训的BERT模型。

• 精细化

顺便说一句，伯特多语种可用于104种语言(参考)，并发现它在许多跨语言的NLP任务(参考)中非常有效。所以，确保你在你的任务中适当地使用伯特。