如何利用块/网格和线程/块？

Question

我正在尝试使用CUDA加速这个数据库搜索应用程序，并且我正在努力与CUDA并行运行一个核心算法。

在一次测试中，我在一个大小为5000的数字序列上并行运行了算法，每个网格有500个块，每个块有100个线程，返回的时间大约是500ms。

然后我将数字序列的大小增加到8192，每个网格128个块，每个块64个线程，不知何故返回了350ms的结果来运行算法。

这将表明所使用的块和线程的数量以及它们之间的关系确实会影响性能。

我的问题是如何决定块/网格和线程/块的数量？

下面我从一个标准的设备查询程序中获得了我的GPU规格：

​

Answer 1

您应该测试它，因为它依赖于您特定的内核。您必须要做的一件事是使每个块的线程数是扭曲中线程数的倍数。在此之后，您可以瞄准每个SM的高占用率，但这并不总是与更高的性能同义。这表明，有时较低的占用率可以提供更好的性能。内存限制内核通常从更高的占用率中受益更多，以隐藏内存延迟。计算范围内的内核就没那么多了。测试各种配置是您最好的选择。