如何在关闭笔记本电脑的GPU服务器上训练深度学习模型？

Question

我正要在图形处理器服务器上使用ESPNet训练我自己的ASR模型。如果我的计算是正确的，它将需要大约连续4天(使用大约100G的音频数据)。

我主要使用VScode远程连接到SSH服务器，并将使用VScode终端运行shell文件。

我的问题是，为了训练我的模型，我必须让我的笔记本电脑开着四天吗？

不知道这是不是有用的信息，但这是我的nvcc --版本：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:24:38_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89

和我的nvidia-smi：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.33.01    Driver Version: 440.33.01    CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Quadro RTX 6000     Off  | 00000000:00:06.0 Off |                    0 |
| N/A   32C    P0    41W / 250W |      0MiB / 22698MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

一旦我的数据都准备好了，我将执行run.sh文件。Espnet github：https://github.com/espnet/espnet

我使用的模型位于espnet/egs2/zeroth/asr1。

我对linux服务器和如此庞大的模型相当陌生，所以任何类型的反馈都将不胜感激。

Answer 1

许多Linux版本都包含GNU Screen程序，该程序允许您在注销后继续运行进程。

连接后，只需运行screen命令：

[myhost ~]$ screen

在这个屏幕终端中启动您的长时间运行的进程。

您现在可以关闭终端。关机，重启你的电脑，随便什么。

当您想要检查您的进程时，只需重新连接并运行以下命令以重新附加：

[myhost ~]$ screen -r

我希望这对你有用。

screen还有很多其他不错的技巧。只需在谷歌上搜索"Linux Screen“，就可以找到大量关于这方面的文章。