是否有可能将伯特送至seq2seq编解码器NMT (用于低资源语言)？

Question

我正在研究NMT模型，它的输入和目标句子来自同一种语言(但语法不同)。我计划预先培训和使用BERT，因为我的工作是小数据集和低/下资源语言。那么，是否有可能将伯特提供给seq2Seq编解码器？

Answer 1

当然，有何不可？编码器/解码器基本上不知道令牌向量的格式，无论它们是通过Word2Vec、BERT、GPT2等派生的。

更有挑战性的方面，如果你还没有弄明白的话，可能是为你的低资源语言找到一个经过预先训练的嵌入模型。给定一个小数据集，从零开始培训自己似乎是不可行的。您可能会发现一个BERT在类似语言(例如，在同一家族或语法结构中)的预培训，并根据您的数据集对最后一层进行微调。传统的BERT在英语方面受到了培训，有些BERT用其他语言进行了分离。