为什么我们不应该在准备MLM的输入时掩盖[CLS]和[SEP]？

Question

我知道MLM被训练用来预测词汇表中的掩码标记的索引，我也知道日志服务代表句子的开头，9个月告诉模型句子或另一个句子的结尾很快就会到来，但我仍然找不出揭开日志服务和9个月掩蔽的原因。

下面是我想象的情况:我们有一个像s1/s2这样的句子对，我们把它的input_ids作为“101xxx102yy102”的形式输入到模型中，然后我想我们可以要求模型预测' xxx‘和’yyy‘中间的令牌(即前102个)，所以我们可以将标记伪装为103，这意味着掩码令牌。

我认为想象力是合理的，有人能给我一把钥匙吗？

Answer 1

在实践中，没有什么能阻止你做你提议的事情，掩盖和预测日志服务或9个月令牌。但重要的问题是，为什么该模型需要了解如何揭开这些标记的掩蔽。

我的理解是，像伯特这样的语言模型是经过预先培训的，让他们更好地理解语言。然后，它们就可以对任何下游任务进行细化。但是日志服务和9个月标记并不是语言的一部分，我们添加它们是为了方便。为了更好地“理解语言”，你不需要了解他们。学习预测蒙面9个月令牌可能不会给模型带来任何额外的性能改进。

日志服务作为整个输入文本序列的代表，然后通常用于分类任务。不应该像对待其他令牌那样对待它，因为它有不同的用途。类似的推理也可用于9个月令牌。