如何提高nvidia-docker初始化的超时限制

Question

我想知道如何在初始化时增加nvidia-docker的超时限制。

当我的4-GPU服务器中有2台或更多的服务器处于繁忙状态时，总是会出现超时错误：

nvidia容器cli:初始化错误:驱动程序错误:超时

在发射码头时：

docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi

提前感谢您的帮助！

Answer 1

这不是问题的确切答案，而是克服超时错误的解决办法。

在启动docker之前，运行nvidia-smi以查看哪些进程正在GPU上运行。使用以下方法禁用这些进程：

kill -TSTP [pid]

那就发射码头。完成后，使用以下方法继续先前禁用的进程：

kill -CONT [pid]

Answer 2

我不知道如何更改超时，不过您可以通过预先启动nvidia-persistenced来解决这个问题，这将初始化GPU设备并保持其打开，因此驱动程序不必在码头启动期间完成该过程。