两个Titan x GPUS之间的GPUDirect点对点访问和内存传输

Question

我想知道是否有可能在两个泰坦X GPU之间使用对等内存传输和内存访问。目前我只有一个GPU，如果可能的话，我可能会得到另一个。我知道在here和here之前也曾问过类似的问题，但这些问题已经有两年多了。我在问这方面是否有什么新的东西。

Answer 1

土卫六应该是可能的。但是，有一些考虑因素：

1. 操作系统/驱动程序模型-在Windows上，GPU可以是WDDM模式，也可以是TCC模式。在WDDM模式AFAIK中不支持P2P。因此，您应该将您的GPU置于TCC模式中，这是最近驱动程序中支持泰坦X(尽管对大多数其他GeForce产品不支持)的模式。在这种情况下，CUDA支持的Linux操作系统不应该有任何额外的考虑。
2. 系统拓扑- GPU直接P2P依赖于源设备和目标设备都在同一个PCIE结构上，这实际上意味着它们必须连接到同一个PCIE根复合体上。如果您的系统拓扑结构是这样的，一个PCIE插槽来自一个CPU套接字，另一个PCIE插槽来自另一个CPU套接字(例如，在一个双插槽主板中)，那么这些PCIE结构在逻辑上是分开的(它们由单独的根复合体服务)，并且这两者之间的P2P传输是不可能的。此外，拓扑决策取决于GPU驱动程序是否能够正确地发现和识别它。如果由于某种原因没有发生这种情况，那么在其他情况下兼容的系统可能仍然不适用于P2P。因此，对于企业/生产用途，一般建议是购买一个已经通过制造商认证的系统，以便在GPU之间进行P2P访问。因此，这个答案并不能保证您的特定组件集能够正常工作。

当然，在不适合的P2P环境中的两个CPU之间的数据传输仍然是可能的，但是数据将通过一个更直接涉及CPU的路径。

请注意，一般来说，P2P支持可能因GPU或GPU系列而不同。在一种GPU类型或GPU系列上运行P2P的能力并不一定表明它将在另一种GPU类型或家庭中工作，即使在相同的系统/设置中也是如此。GPU P2P支持的最终决定因素是通过cudaDeviceCanAccessPeer查询运行时的工具。因此，这里的声明“应与土卫六X”不应解释为指任何其他GPU类型。P2P支持可能因系统和其他因素而异。这里所做的任何声明都不能保证在任何特定设置中对任何特定GPU的P2P支持。