CUDA偏差和占有率

Question

我一直认为，warp调度器会一次执行一个warp，这取决于哪个warp已经准备好了，而这个warp可以来自多处理器中的任何一个线程块。然而，在Nvidia webminar的一张幻灯片中，有这样的说法：“占用率=在多处理器上并发运行的warps数量除以可以并发运行的最大warps数量”。所以一次可以运行多个曲速？这是怎么回事？

谢谢。

Answer 1

“运行”可能更好地解释为“具有SM上的状态和/或流水线中的指令”。GPU硬件调度尽可能多的可用块或将适合SM的资源(以较小者为准)，为它们包含的每个曲折分配状态(即，寄存器文件和本地存储器)，然后开始调度warps以供执行。指令流水线似乎大约有21-24个周期长，因此在任何给定的时间都有许多处于不同阶段的“运行”的线程。

前两代支持CUDA的图形处理器(因此G80/90和G200)每四个时钟周期仅从单个warp中引退指令。计算2.0设备每两个时钟周期从两个warps发出双发出指令，因此每个时钟有两个warps引退指令。Compute 2.1通过允许有效的无序执行扩展了这一点-每个时钟仍然只有两个warp，但可能一次有两个来自相同warp的指令。因此，每个SM额外的16个内核用于指令级并行，仍然由相同的共享调度器发出。