为什么不同优化器的模型大小会有很大的不同？

Question

对于TensorFlow，当优化器为tf.train.GradientDescentOptimizer时，我的模型大小(model.ckpt.data)为88M，但当优化器更改为tf.train.AdamOptimizer时，我的模型大小变为220M。

为什么会有这么大的差异呢？

Answer 1

ADAM为每个可训练参数添加了两个运行方式(梯度和梯度平方)作为额外的不可训练参数，这意味着它将总参数的数量增加到三倍。这些不可训练的参数也会被保存，因为需要它们来重新启动学习过程。这就是模型检查点更大的原因。