CUDA:减少多媒体数据主机到设备传输造成的开销？

Question

我正在从主机上的多媒体数据集中提取特征，在从所有图像中提取特征之后，我想执行一些处理任务。

特别是，我希望执行一组操作，如距离计算和数据库索引或哈希预处理，可能在GPU上加速。然而，与顺序处理相比，传输大型特征数组的开销太大，降低了性能。

有人能建议一种方法来处理这样大的数据密集型任务，并且需要传输大型数据集吗？

Answer 1

通过使用异步内存副本和流尝试重叠内存传输和计算，可以隐藏传输大型数组的成本。

要完全理解如何理解，看一看simpleStreams CUDA示例将是非常有用的。在这里，它只是勾勒出一般的想法。

让我们假设GPU必须通过一个名为int的__global__函数对M的M的两个M数组执行一些操作，并且这样的操作的结果(同样是长度M )存储在数组c中。假设创建2流、stream0和stream1，并且每个流都对M/2元素进行操作。更详细地说，每个流以长度为M/4的块加载和处理数据。让我们考虑以下代码(这段代码只是为了说明，因为我还没有测试它)：

for (int i=0; i<2; i++) {

    cudaMemcpyAsync(d_a+i*M/4, h_a+i*M/4, (M/4)*sizeof(int), cudaMemcpyHostToDevice, stream0));
    cudaMemcpyAsync(d_a+i*M/4+M/2, h_a+i*M/4+M/2, (M/4)*sizeof(int), cudaMemcpyHostToDevice, stream1));
    cudaMemcpyAsync(d_b+i*M/4, h_b+i*M/4, (M/4)*sizeof(int), cudaMemcpyHostToDevice, stream0));
    cudaMemcpyAsync(d_b+i*M/4+M/2, h_b+i*M/4+M/2, (M/4)*sizeof(int), cudaMemcpyHostToDevice, stream1));

    kernel<<<(M/4)/256,256,0,stream0>>>(d_a+i*M/4, d_b+i*M/4, d_c+i*M/4);
    kernel<<<(M/4)/256,256,0,stream1>>>(d_a+i*M/4+M/2, d_b+i*M/4+M/2, d_c+i*M/4+M/2);

    cudaMemcpyAsync(h_c+i*M/4, d_c+i*M/4, (M/4)*sizeof(int), cudaMemcpyDeviceToHost, stream0));
    cudaMemcpyAsync(h_c+i*M/4+M/2, d_c+i*M/4+M/2, (M/4)*sizeof(int), cudaMemcpyDeviceToHost, stream1));

}

为了举例说明，假设每个操作将花费相同的时间，那么内存传输和计算之间的重叠将类似于：

stream0    stream1    
a H2D
           a H2D
b H2D
kernel     b H2D
c D2H      kernel
           c D2H
...

在这个例子中(其目的只是勾勒出一般的想法)，假设设备没有并发的双向数据传输能力。当这种能力可用时，其他方案可能产生更高的效率。