测量nvidia gpu的使用

Question

我正在寻找方法来记录GPU级的利用率。我对利用率有两个定义，乐观地说，我希望能够计算这两个定义：

1. 由GPU在一个时间实例中运行/使用的cuda核数。
2. 峰值效率每秒触发器数。

我知道有一些工具，但它们都没有提供任何信息。例如：

• Nvidia-smi的使用显示了内核时间的百分比，而不管内核的数量和执行的速度如何，nvtop和gpustat.

等工具也是如此。

• 分析器(如Tensor-Flow Profiler和nvprof )显示了在失败方面的效率，但在内核/程序级别上，而不考虑并行运行多个.

的效果。

我对工具和基于代码的解决方案都很开放。

Answer 1

我可能错了，但我相信nvprof可以给你看这些细节。您将不得不为时间线和度量运行它。

nvprof --export-profile timeline.prof <your_bin>
nvprof --metrics all --export-profile metrics.prof <your_bin> 

然后，您可以将这些文件(在本例中是timeline.prof和metrics.prof)导入到nvdia可视化分析器中，该工具可以用nvvp打开。