使用谷歌云平台TPU v3对BERT进行预培训

Question

我们正在尝试使用我们准备的语料库对BERT进行预训练。

在本教程(https://cloud.google.com/tpu/docs/tutorials/bert)的帮助下，我尝试使用云壳使用TPU v3对BERT进行预训练，但云壳的使用限制为每周60小时，这不允许我们有效地执行非常耗时的计算，如BERT预训练。

如果我们想在谷歌云平台上使用TPU v3对BERT进行不间断的预训练，最好的方法是什么？

如果可能的话，如果你能提供一个具体的流程，那将是非常有帮助的。

Answer 1

您可以使用nohup、tmux或screen之一运行长时间运行的程序。

通过运行以下命令ssh到您的Compute VM (使用Cloud Shell

gcloud compute ssh my-vm-name --zone=us-central1-b

然后运行你的相关命令(比如使用nohup)

nohup training_command.py > mytraining.out 2> mytraining.err

即使Cloud Shell过期或关闭窗口，您的培训仍将继续运行。您可以重新连接回VM，并在这些文件中查看训练的输出。