在深度学习生成模型中创建掩蔽层

Question

我创建了一个生成模型，它在长度为129的填充序列上进行训练。我试图添加一个掩蔽层，但是我得到了以下错误消息：

input_length" is 129, but received input has shape (None, 129, 7905).

vocab_size = 7905

seq_length_sent = 129

以下是模型：

model = Sequential() 
model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))
model.add(Embedding(vocab_size, 50, input_length=seq_length_sent)) 
model.add(LSTM(100, return_sequences=True)) 
model.add(LSTM(100))
model.add(Dense(100, activation='relu')) 
model.add(Dense(vocab_size, activation='softmax')) 
print(model.summary())

输入是填充序列，这些序列已被标记，因此每个单词都由一个整数表示。输出字是由以下代码编码的一个热字：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 
y = to_categorical(y, num_classes=vocab_size)

这是我第一次建立这样一个模型，所以我不确定这个方法是否正确。

Answer 1

问题在于您定义输入形状的位置。我假设模型的输入是标记化的填充序列。因此，输入不应是seq_length_sent*vocab_size的形状，而应仅为形状seq_length_sent。

因此，要解决您的问题，只需替换：

model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))

使用

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

Answer 2

输入是填充序列，这些序列已被标记，因此每个单词都由一个整数表示。输出字是由以下代码编码的一个热字：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 
y = to_categorical(y, num_classes=vocab_size)

这是我第一次建立这样一个模型，所以我不确定这个方法是否正确。

Answer 3

错误来自于如何定义掩蔽层。如果您的输入是填充的单词序列，并且每个单词是一个热编码，那么您已经正确地定义了您的掩蔽层。但是，如果您的输入是没有一个热编码的填充词序列，则必须将掩蔽层定义为

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

而不是

model.add(Masking(mask_value=0, input_shape=(seq_length_sent,vocab_size))