何时在PyTorch中使用单个优化器？

Question

给出的示例这里分别为encoder和decoder使用了两个优化器。为什么？什么时候这样做？

Answer 1

如果您有多个网络(在继承自nn.Module的多个对象的意义上)，您必须这样做，原因很简单:当构造torch.nn.optim.Optimizer对象时，它将应该优化的参数作为参数。就你而言：

encoder_optimizer = optim.Adam(encoder.parameters(), lr=learning_rate)
decoder_optimizer = optim.Adam(decoder.parameters(), lr=learning_rate) 

这也让你可以自由地独立地改变学习速度的参数。如果不需要，您可以创建一个从nn.Module继承并同时包含网络、编码器和解码器的新类，或者创建一组参数，按照解释的这里提供给优化器。

nets = [encoder, decoder]
parameters = set()
for net in nets:
    parameters |= set(net.parameters())

其中，|是此上下文中集合的联合运算符。