在RTX3060上使用在RTX2080上训练的Pytorch模型

Question

我尝试在支持CUDA的较新的Nvidia RTX3060上运行我的PyTorch模型(在Nvidia RTX2080上训练)。可以加载模型并执行它。如果我在带有--no_cuda标志的CPU上运行它，它运行得很流畅，并返回正确的预测，但如果我想用CUDA运行它，它只返回错误的预测，这是没有意义的。显卡的不同GPU架构是否会影响预测？

Answer 1

好的，看起来问题出在两种架构的不同浮点上。需要设置标志torch.backends.cuda.matmul.allow_tf32 = false，以提供不同体系结构的模型的稳定执行。