如何在机器翻译中生成第一个目标词？

Question

我正在学习变压器的机器翻译任务。据我所知，变压器模型预测的下一个词的目标句的基础上，先前的词源句。但是，在MarianMT模型(或T5)中，我发现它的标记器没有句子标记(或)的开始。我认为需要一个标记来开始预测目标句子中的第一个单词。

有人能向我解释MarianMT模型如何预测目标句子中的第一个单词吗？

谢谢。

Answer 1

来自文档

模型开始以pad_token_id (以0作为token_embedding)作为前缀生成(Bart使用<s/>)。

因此，它不需要SOS令牌，因为它在培训期间使用填充令牌作为第一个令牌。