针对不同语言的特定领域微调BERT？

Question

我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。

现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？

我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。

Answer 1

我只想知道是否有任何方法可以微调在特定领域训练的预训练BERT模型，并将其用于同一领域内的数据，但使用不同的语言

可能不会。BERT的词汇表在预训练开始时是固定的，并添加了额外的词汇表leads to random weight initializations。

相反，我会：

在您的任务中，通过@Ashwin said.

• Fine-tune

1. 查找多语言、特定领域的BERT版本，看看性能是否可以接受。一般来说，BERT可以很好地适应不同的任务。
2. (如果你有可用的资源)继续在你的特定领域(例如，像SciBERT)预先训练荷兰BERT，然后对你的任务进行微调。