有没有办法通过slurm计算出节点上有多少个gpu？

Question

我正在使用一个SLURM工作负载管理器，我们有4个GPU的节点。

节点的几种可能状态：

已分配的计算资源(所有计算资源均为allocated)

• mixed (部分资源为allocated)

• idle )(未分配任何计算资源)

确定资源利用率的标准方法是sinfo命令- https://slurm.schedmd.com/sinfo.html。有几个标志和选项。然而，似乎没有人能够知道在给定节点上分配了多少资源。

比如说，我想知道，对于mixed状态，是1,2还是3个GPU是可用的。或者这些信息是保密的，并且由于某些原因用户无法获得？

Answer 1

如果你跑

scontrol show nodes 

作为常规用户，您将看到许多关于节点的信息，其中的行如下

 AllocTRES=cpu=8,mem=48G,gres/gpu=2

告诉您分配了多少GPU：gres/gpu=2。另一条线

 CfgTRES=cpu=64,mem=257707M,billing=64,gres/gpu=2 

告诉配置了多少GPU：gres/gpu=2。通过这两行，您可以推断出节点上仍然可用的GPU数量。