A100上的cublasGemmEx与cublasDgemm

Question

我试图通过比较cublasGemmEx和cublasDgemm在A100上的性能来发现张量核的一些优势。正如文档所描述的，cuda11.2+A100上的cublasGemmEx支持FP64，我认为cublasDgemm采用了旧的算法(CUBLAS_GEMM_DEFAULT？)，cublasGemmEx应该比cublasDgemm更快。但我的实验表明，两者具有相同的性能。cublasDgemm是否已经适应了张量核心？顺便说一句，对于m=n=k=5440，两者都有大约10个TFLOPS。

Answer 1

• 对于像cublas，using a profiler这样的内核，你可以通过内核名称来判断是否使用了tensorcore。对于任意内核，链接的文章在nsight计算中显示了可用于此目的的指标。

• 在A100的情况下，published data指示对于非tensorcore使用，峰值FP64速率是9.7TF。如果你看到一个高于9.7TF的吞吐量(对于FP64)，那么肯定是使用了tensorcore。(实际上，任何高于9.7TF的90%的吞吐量都应该足以满足这个观察结果，因为引用的数字是峰值理论，而不是real-world-achievable).

• CUBLAS开发人员希望给图书馆用户最好的体验。对于可以使用tensorcore完成的操作，我想不出一个合理的理由来使用慢速路径。你应该希望这样的库在可能的情况下使用tensorcore。

在您的案例中，由于您见证了两个操作的相同吞吐量，并且吞吐量超过9.7TF，因此即使没有分析，也可以肯定tensorcore将同时用于这两个操作。