CUDA编程:占用是在不同进程之间实现GPU切片的方法吗？

Question

可以通过多种方式实现GPU共享。我遇到了入住率。我可以使用它在共享GPU的进程(例如tensorflow)之间对GPU进行切片吗？这里的切片意味着GPU资源始终专用于该进程。使用占用率，我将获得GPU和SMs的详细信息，并在此基础上启动内核，声明为这些GPU资源创建块。

我使用的是安装了cuda 9工具包的NVIDIA Corporation GK210GL Tesla K80

请提个建议。谢谢!

Answer 1

可以通过多种方式实现共享。

没有。一般来说，没有你想象中的GPU共享类型。有用于MPI式多进程计算的MPS server，但这在运行Tensorflow的上下文中无关紧要(参见here了解为什么不能使用MPS )。

我遇到了入住率。我可以使用它在共享GPU的进程(例如tensorflow)之间对GPU进行切片吗？

不，你不能。占用率是一个性能指标。它与在不同进程之间共享GPU资源的能力无关，

请建议

购买第二个GPU。