通常,nn.module中的前向函数计算并返回对前传中发生的输入的预测。但有时,中间计算可能会对返回有用。例如,对于编码器,可能需要返回前传中的编码和重构,以便稍后在丢失时使用。
问题:的nn.Module的前向函数,返回多个输出吗?例如由预测和中间值组成的一组输出?
这样的返回值不会使反向传播或自动梯度混乱吗?如果是这样的话,您将如何处理在损失函数中包含多个输入函数的情况?
(这个问题在tensorflow中也是有效的。)
发布于 2022-07-11 20:32:29
“这个问题在Tensorflow中也应该有效”,但是PyTorch和Tensorflow是不同的框架。我至少可以为PyTorch负责。
是的,您可以返回包含任何最终和或中间结果的元组。这不会造成反向传播的混乱,因为图是通过回调和缓存的张量隐式地从张量输出中保存的。
https://stackoverflow.com/questions/72940912
复制相似问题