机器学习和模型训练

Question

我正在做一个机器学习项目，我在Google Colab上训练我的模型。我已经克隆了存储库，并使用张量流框架建立了模型。

然而，我的数据集太大了。在运行模型之前，我有两个问题浮现在脑海中：

1)如果我让我的模型在一夜之间接受训练，那么知道我的训练是否在两者之间完成/保留的最聪明的方法是什么？(任何通过电子邮件发送的通知。。或者?)

2)如果互联网连接在两者之间中断，会发生什么情况

我的谷歌搜索没有为我提供可理解的答案。如果您能帮助我解决我的问题，我将不胜感激。

Answer 1

最多可同时运行2个实例，并链接到您的Google帐户。继续备份你的负重，如果超过12个小时就重新训练。

对于如此长的工作，投资VPS总是更好的，但回答你的问题，

1. 在打开浏览器的情况下，Colab上作业的最长生存期为12小时。因此，定期保存模型权重是个好主意。在训练时备份权重的脚本是一个好主意。
2. 如果互联网连接中断，笔记本将运行90分钟，然后实例将被视为空闲并将被回收。这类似于关闭浏览器。