CUDA是否允许同一gpu上同时运行多个应用程序？

Question

我有英伟达的Tesla K20m GPU卡。在CUDA 5.0中，允许在同一图形处理器上来自同一应用程序的多个进程。CUDA是否允许在同一GPU上同时执行不同的应用程序？

Answer 1

取决于你所说的“同时”是什么意思。如果你的意思是“两个应用程序同时在同一张卡上有CUDA上下文”，那么是的。

不过，您可能希望使用MPS来获得全部好处并减少上下文切换。另请参见this question。

Answer 2

多个应用程序可以在同一GPU上同时运行。也就是说，多个应用程序可以同时拥有CUDA上下文，并启动内核、复制内存等。

但是，来自不同CUDA上下文的内核不能在同一上同时执行。这意味着，在完全相同的时间片上，只有来自单个CUDA上下文的内核可以在GPU上执行。

MPS通过实际拥有具有单个CUDA环境的服务器来实现这一点，并且所有客户端进程通过此服务器与GPU设备通信，并最终使用其单个CUDA环境。这实现了从不同(逻辑) CUDA上下文的内核启动之间的实际并发性。