教师力量培训PyTorch

Question

我正在尝试做一个seq2seq预测。为此，我有一个LSTM层，后面是一个完全连接的层。我在培训阶段雇佣了教师培训，并希望在测试阶段跳过这一点(这里我可能错了)。我还没有找到这样做的直接方法，所以我采用了下面所示的方法。

def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None):
    outputs = []
    for idx in range(future):
        rnn_out, _ = self.rnn(inputs)
        output = self.fc1(rnn_out)
        if self.teacher_training:
            new_input = output if np.random.random() >= teacher_force_ratio else target[idx]
        else:
            new_input = output
        inputs = new_input

我使用bool变量teacher_training来检查是否需要教师培训。这是正确的吗？如果是，有没有更好的方法呢？谢谢。

Answer 1

在PyTorch中，所有扩展nn.Module的类都有一个名为training的粗布尔型参数。因此，我们应该简单地使用training参数而不是teacher_training。此参数根据您的模型训练模式(model.train()和model.eval())自动设置。