如何在带有计划GPU的GPU服务器上运行未修改的Python程序？

Question

假设我有一个带有10个GPU的服务器。我有一个python程序，它检测可用的GPU并使用它们。

我有几个用户将运行python (机器学习或数据挖掘)程序并使用GPU。

我最初想使用Hadoop，因为我发现Yarn擅长管理资源，包括GPU，而且纱线有一定的调度策略，比如公平、FIFO和容量。

我不喜欢硬编码的规则。user1只能使用gpu1，user2只能使用gpu2。

后来，我发现Hadoop似乎需要使用map- code模式编写的程序，但我的要求是在Windows或本地桌面上运行未经修改的代码，或者尽可能少地修改。

在一台具有多个GPU的机器上运行和调度python程序时，我应该考虑哪些知识？

Answer 1

GPU环境中用于作业管理的一种流行解决方案是斯隆。

SLURM允许指定作业所需的资源(例如，2个CPU、2Gb的RAM、4个GPU)，当需要的资源可用时，它将被计划执行。

作业可以是任何程序或脚本。