“torch.backends.cudnn.deterministic=True”和“torch.set_deterministic(真)”有什么区别？

Question

我的网络包括'torch.nn.MaxPool3d‘，当cudnn确定性标志根据PyTorch文档(Version1.7-https://pytorch.org/docs/stable/generated/torch.set_deterministic.html#torch.set_deterministic)打开时，它会抛出一个RuntimeError，但是，当我在代码的开头插入代码'torch.backends.cudnn.deterministic=True’时，没有RuntimeError。为什么该代码不抛出一个RuntimeError？我想知道该代码是否保证了我的训练过程的确定性计算。

Answer 1

torch.backends.cudnn.deterministic=True只适用于CUDA卷积运算，而不适用于其他操作。因此，不，它不能保证您的培训过程是确定性的，因为您也在使用torch.nn.MaxPool3d，它的后向函数对于CUDA来说是不确定的。

另一方面，torch.set_deterministic()会影响此处列出的所有通常不确定的操作(请注意，set_deterministic已在1.8中重命名为use_deterministic_algorithms )：https://pytorch.org/docs/stable/generated/torch.use_deterministic_algorithms.html?highlight=use_deterministic#torch.use_deterministic_algorithms。

正如文档所述，一些列出的操作没有确定性的实现。因此，如果设置了torch.use_deterministic_algorithms(True)，它们将抛出一个错误。

如果您需要使用像torch.nn.MaxPool3d这样的非确定性操作，那么，目前您的培训过程是没有确定性的--除非您自己编写一个自定义的确定性实现。或者您可以打开一个请求确定性实现的GitHub问题：https://github.com/pytorch/pytorch/issues

此外，您可能希望查看此页面：https://pytorch.org/docs/stable/notes/randomness.html