AI平台还原检查点在estimator train_and_evaluate中不起作用

Question

我正在使用AI平台使用Estimator API训练Tensorflow模型。但是，当模型保存检查点并尝试恢复检查点时，它会抛出错误tensorflow.python.framework.errors_impl.NotFoundError: Unsuccessful TensorSliceReader constructor: Failed to find any matching files for gs://path/keras/keras_model.ckpt

这似乎是在Tensorflow中恢复元数据图形的问题，这是会话设置(TensorFlow, why there are 3 files after saving the model?)中的代码。然而，由于AI平台将其从我的配置中抽象出来，我如何解决我的问题？

Answer 1

无论如何，似乎在每次新作业运行开始时，前一次运行的作业目录都不会被删除(有意如此，这样我就可以让多个工作人员同时进行培训)。如果上一次运行失败，一些检查点没有正确存储，这会给AI平台带来问题。