更快地恢复训练-在Google Colab上中断会话后，从最后一步开始rccn模型

Question

使用faster-rcnn在Google Colab上训练我的模型。然而，由于GPU时间的限制，我的模型在10000步中的7000步停止了训练。

我使用以下代码训练模型

!python model_main_tf2.py --model_dir=models/my_faster_rcnn_inception_resnet_v2 --pipeline_config_path=models/my_faster_rcnn_inception_resnet_v2/pipeline.config

如何从上一步(即7000)继续训练我的模型？

Answer 1

在阅读了this教程之后，我设法弄明白了这一点。因此，为了恢复训练，我将fine_tune_checkpoint的目录位置从预先训练的模型目录(即pretrained_mode/checkpoint/ckpt-0)更改为保存模型检查点的模型训练目录位置(即/ my _ training _ model /ckpt-#)。将#替换为最后一个检查点的编号，例如ckpt-9

然后，我重新运行以下命令以恢复训练：

!python model_main_tf2.py --model_dir=models/my_faster_rcnn_inception_resnet_v2 --pipeline_config_path=models/my_faster_rcnn_inception_resnet_v2/pipeline.config