NVIDIA与PyTorch版本的cuDNN

Question

在按照官方命令: PyTorch：conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch安装了conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch之后，conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.2 -c pytorch中显示的cuDNN版本是pytorch 1.7.1 py3.8_cuda10.2.89_cudnn7.6.5_0 pytorch，而我的系统有cudnn8.5.0。

这对我们如何培养模特有影响吗？

Answer 1

TLDR；可能不是，但取决于不同版本之间的差异。

解释

实际上，升级(比如系统的conda cudnn7.6.5_0 -> cudnn8.5.0 )通常不会影响培训，因为版本在一段时间内是向后兼容的。过了一段时间，事情就被废弃了(可能是几年)，所以你应该尽量不要把这个问题搞得太大，因为CUDA版本使用的是未实现的操作。您应该更感兴趣的是哪一个最低版本是需要从您的GPU (就像3090从Nvidia，需要CUDA 11.1和以上)。

在现实中，torch使用了cudnn的简单操作实现，通常情况下，它们不会有太大的变化。As Nvidia描述了什么是cuDNN

NVIDIA深神经网络库(cuDNN)是一个GPU加速的深层神经网络原语库。cuDNN为标准例程提供了高度调优的实现，例如前向和后向卷积、池、规范化和激活层。

如果您有兴趣检查来自Nvidia的实际矩阵支持，查看这个网站的文档并单击特定版本的版本支持矩阵。您可以看到8.5.0支持cuDNN 8.5.0 for CUDA 10.2。如果您认为py3.8_cuda10.2.89_cudnn7.6.5_0是什么意思，那就是您的cuda10.2.89是用cudnn7.6.5中可用的原语编译的。另外，考虑到您还必须拥有Nvidia驱动程序的必需版本。