有没有办法在tensorflow中强制添加新的变量到现有的检查点？

Question

假设有一个深度学习模型和一个具有预先训练好的权重的检查点。我想要做的是对预先训练的模型进行微调。然而，我发现我必须使用现有模型图中没有定义的新的ADAM优化器对模型进行微调。因为ADAM优化器本身有一些trainable_variables，所以如果我想要基于检查点对模型进行微调，我必须将它们添加到现有的检查点。有没有办法在tensorflow中强制添加新的变量到现有的检查点？

Answer 1

可以使用tf.compat.v1.train.warm_start使用先前训练的模型中的权重对新模型进行微调。

通常，您会使用tf.train.Saver或tf.train.Checkpoint来恢复变量。如果您使用tf.compat.v1.train.warm_start，它将恢复您的新模型与旧模型共有的变量，但它会让您自行初始化您添加的任何新变量。