解码器中嵌入层的输出(神经机器翻译)

Question

我正在尝试使用下面的教程https://www.tensorflow.org/tutorials/text/nmt_with_attention来理解注意力模型

在解码器部分是这样写的：

# x shape after passing through embedding == (batch_size, 1, embedding_dim)
    x = self.embedding(x)

我不明白为什么嵌入输出是(batch_size，1，embedding_dim)。根据文档(https://www.tensorflow.org/api_docs/python/tf/keras/layers/Embedding)，输出必须是(batch_size，input_length，output_dim)，这在教程的情况下是(batch_size，max_len，embedding_dim)。

问:为什么secode dimension = 1，而不是max_len？

Answer 1

本教程中的模型是一个序列，用于在每个步骤中接收整个文本中的一个单词的sequence.so。这就是(batch_size，max_len，embedding_dim)中的大小等于1的原因。每个单词都由一个大小为embedding_dim的向量表示