MLM和NSP模型在经过训练后实际用于什么？

Question

我是一个使用深度学习网的Python程序员，我最近已经建立了自己的语言模型，也有像伯特这样的受欢迎的模型。我的问题是--在成功地训练了这些模型之后，它们被用来做什么？我知道蒙面语言模型可以预测蒙面词是什么，但有什么意义呢？这个模型的实际应用是什么？同样的问题也适用于下一个句子预测模型--什么是真实世界的应用程序？

谢谢。

Answer 1

你通常在不同的“下游”任务中微调预先训练过的蒙面语言模型，例如文本分类。

MLM和NSP预训练不是目的，而是从监督学习问题中大量未标注的数据中获利的手段。