开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用HuggingFace对预训练任务进行mBART微调

问使用HuggingFace对预训练任务进行mBART微调
EN

Stack Overflow用户

提问于 2021-09-23 08:17:59

回答 1查看 344关注 0票数 1

我想使用预训练任务对我的数据进行facebook/mbart-large-cc25调优，特别是掩蔽语言建模(MLM)。

我如何在HuggingFace中做到这一点？

编辑:为了清晰起见，重写了问题

huggingface-transformers

pre-trained-model

EN

回答 1

Stack Overflow用户

发布于 2021-09-23 09:44:34

由于您是在HuggingFace中完成所有工作，因此对预训练任务(假设在Huggingface中提供了预训练任务)对模型进行微调对于大多数模型来说几乎是相同的。您对哪些任务感兴趣，希望对mBART进行微调？

Hugginface为几个微调任务提供了大量文档。例如，下面提供的链接将帮助您微调用于语言建模、MNLI、SQuAD等的HF模型。https://huggingface.co/transformers/v2.0.0/examples.html和https://huggingface.co/transformers/training.html

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69296379

复制

相似问题