首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >NVIDIA GPU的任务调度

问NVIDIA GPU的任务调度
EN

Stack Overflow用户
提问于 2017-05-25 17:14:59
回答 2查看 1.9K关注 0票数 5

我对nvidia GPU的任务调度有一些疑问。

(1)如果一个块(CTA)中的一条经线已经完成,但仍有其他经线在运行,则此经线是否会等待其他经线完成?换句话说,当所有线程都完成时,一个块(CTA)中的所有线程都会释放它们的资源,这样可以吗?我认为这一点应该是正确的,因为块中的线程共享共享内存和其他资源,这些资源是在CTA大小管理器中分配的。

(2)如果一个块(CTA)中的所有线程都挂起了一些较长的延迟,比如全局内存访问?一个新的CTA线程会占用像CPU一样的资源吗?换句话说,如果一个块(CTA)已经被分派到SM(流处理器),它是否会占用资源,直到它完成?

如果有人向我推荐一些关于GPU.Thanks架构的书籍或文章,我将不胜感激!

EN

回答 2

Stack Overflow用户

发布于 2017-05-26 08:45:30

仅当SM具有足够的线程块资源(共享内存、warps、寄存器、屏障等)时,Compute Work Distributor才会在SM上调度线程块(CTA)。分配线程块级资源,如共享内存。分配为线程块中的所有线程创建足够的扭曲。资源管理器将warps循环分配给SM子分区。每个SM子分区包含一个warp调度器、寄存器文件和执行单元。一旦将warp分配给子分区,它将保持在子分区上,直到它完成或被上下文切换(Pascal体系结构)抢先。在上下文切换恢复时,warp将被恢复到相同的SM相同的warp-id。

当warp中的所有线程都已完成时,warp调度器等待warp发出的所有未完成的指令完成,然后资源管理器释放包括warp-id和寄存器文件的warp级资源。

当线程块中的所有扭曲完成时,块级资源被释放,SM通知计算工作分配器该块已经完成。

一旦将warp分配给子分区并且分配了所有资源,则认为该warp是活动的,这意味着warp调度器正在主动跟踪该warp的状态。在每个周期中,warp调度器确定哪些活动的warp被停止以及哪些有资格发出指令。warp调度器挑选最高优先级的合格的warp,并从该warp发出1-2个连续指令。双重问题的规则特定于每个体系结构。如果warp发出内存加载,它可以继续执行独立指令,直到到达相关指令。然后,翘曲将报告停止,直到加载完成。依赖的数学指令也是如此。SM架构旨在通过在warps之间按周期切换来隐藏ALU和内存延迟。

这个答案没有使用CUDA核心这一术语,因为这引入了一个不正确的心理模型。CUDA内核是流水线化的单精度浮点/整数执行单元。问题速率和依赖延迟是特定于每个架构的。每个SM子分区和SM具有其他执行单元,包括加载/存储单元、双精度浮点单元、半精度浮点单元、分支单元等。

票数 8
EN

Stack Overflow用户

发布于 2017-05-25 18:42:32

我推荐this article。它有点过时了,但我认为这是一个很好的起点。本文针对的是开普勒体系结构,所以最新的一个,Pascal,可能在行为上有一些差异。

您的特定问题的答案(基于文章):

Q1.块中的线程是否仅在该块中的所有线程都运行完毕后才释放其资源?

是。当同一块中的其他warp仍未获得其资源(如寄存器和共享内存)时,已完成运行的warp。

Q2.当一个块中的所有线程都挂起时,它还会占用资源吗?或者,是否有新的线程块接管资源?

您正在询问一个块是否可以被抢占。我已经在网上搜索过了,从here那里得到了答案。

计算能力小于3.2个数据块的

永远不会被抢占。在计算能力3.2+上,块可以被抢占的唯一两个实例是在设备端内核启动(动态并行)或单gpu调试期间。

因此,当某些全局内存访问停止时,块不会放弃它们的资源。与其期望停滞的偏差会被抢占,不如将CUDA代码设计为在SM中驻留大量的偏差,等待调度。在这种情况下,即使一些warps正在等待全局内存访问完成,调度器也可以启动其他线程,从而有效地隐藏延迟。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44176707

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档