内存-计算重叠影响内核持续时间？

Question

通过分析我的解决方案，我看到内存传输和内核计算之间的依赖关系。对于60 2ms的数据传输，我对每个重叠的内核计算都有2ms的开销。

我正在计算我的基本解决方案和增强的解决方案(重叠)，以查看差异。它们使用相同的内核(不依赖于数据值)处理相同数量的数据。

那么，我是错了还是遗漏了什么地方，还是重叠真的使用了GPU的一个“重要”部分？

我认为重叠过程必须命令数据传输并控制其问题，您可以添加上下文切换。但是与2ms相比，它似乎太过了吗？

Answer 1

当数据复制与计算重叠时，这两个操作都在争夺GPU内存带宽。如果您的内核是内存带宽受限的，那么重叠操作可能会导致计算和内存复制运行的时间都比单独运行的时间长。

如果没有争用，PCIE Gen2链接上60兆字节的数据将花费10 is的时间。一个额外的2ms，当有争议时，听起来并不超出我的范围，但它将取决于在很大程度上，你正在使用的GPU。还不清楚您所指的“开销”是传输长度的扩展，还是内核计算的扩展，还是整个程序的扩展。不同的GPU具有不同的GPU内存带宽号。