BERT蒙面语言模型问题

Question

我从互联网上读到了伯特的故事，从我的理解来看，伯特预训的蒙面语言模型是为了让伯特学会从所给出的上下文中猜出一个“蒙面”字。对于最接近原始掩码嵌入的输出嵌入，损失函数将是最低的。难道使用这种丢失函数并不能保证BERT会输出带有上下文的单词嵌入，而是能够输出最接近原始掩码嵌入的嵌入，而不需要相关的上下文？

谢谢。

Answer 1

在这种情况下，掩蔽意味着用一个特殊的[MASK]令牌替换令牌。网络没有原始令牌的信息，只有这样，它才能通过查看上下文来潜在地弄清楚它是什么。

确保模型学到有意义的东西的不是损失函数，而是不允许您建议的解决办法的架构设计。