如何预测神经机器翻译中的<unk>标记

Question

例如，如果我有单词MKIK或"牛逼“(这是人工创建的)，我们如何告诉神经网络(变压器模型)保持相同的输出？

问题是如何在整流罩上使用变压器模型。

我发现fairseq有--replace-unk参数，但是它似乎不适用于变压器模型，或者它有一个错误

Answer 1

我自己有一个想法，用所有未知的符号，比如汉字，预先训练一个天真的模型。然后，在没有未知标记的情况下对模型进行细化。

我想这样的神经网络连接不会更新吗？

但我得绕着这个结构看一看。

Answer 2

FairSeq中似乎存在一个bug (参见GitHub问题)，它指出如果源端令牌也是<unk>，则--replace-unk选项将失败。

如果您从头开始训练您的模型，那么解决方案可能是使用从不生成<unk>的标记器，例如，具有字节回退的SentencePiece，它最终将未知标记拆分到字节级别，并且所有字节都在词汇表中。