香草变压器与伯特的应用比较

Question

我试图识别香草变压器在nlp中的应用，以及在BERT中的应用。但我似乎找不到他们两人的好摘要。因此，我的问题是：

1. 变压器和伯特的应用分别是什么？
2. 在(1)中，为什么在某些应用中使用香草变压器？(反之亦然？)原因是什么？

蒂娅。

Answer 1

普通变压器有两个部分:编码器(非自回归)和解码器(自回归)。这使得它能够生成文本(即令牌序列)。因此，香草变压器的应用是接收一段文字作为输入，并得到另一段文字作为输出。主要的例子是机器翻译。

伯特是个变压器编码器。它的应用程序是这样的任务:输入是一个文本(或N个文本)，输出是：

• 一个单独的输出(在[CLS]令牌位置)。这包括任何分类或回归任务。
• 每个输入令牌每个输出一个。这主要包括标记标记任务，例如语音标记的一部分、跨度标记(例如用于回答问题)。