为什么pytorch中模型的输出不同

Question

我有一个简单的模型，只有一个线性层。

model = torch.nn.Linear(1,1).to(device)
x_train1 = torch.FloatTensor([[1], [2], [3]])
out = model(x_train1)
print(out)

但是每当我尝试运行这段代码时，打印的输出都是不同的。

此外，我还设置了这些随机种子。

import random
import torch
import numpy as np
random_seed=76
torch.manual_seed(random_seed)
torch.cuda.manual_seed(random_seed)
torch.cuda.manual_seed_all(random_seed) # if use multi-GPU
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
np.random.seed(random_seed)
random.seed(random_seed)

我想知道为什么代码运行时输出一直在变化。

Answer 1

如果想要获得相同的结果，则必须在每次运行代码时设置种子。

import torch

def my_func(device: str, seed: int):
    torch.manual_seed(seed)
    model = torch.nn.Linear(1,1).to(device)
    x_train1 = torch.FloatTensor([[1], [2], [3]])
    out = model(x_train1)
    print(out)

# Whenever you run the function you'll get the same result!

my_func(device="cpu", seed=76)
# tensor([[0.3573],
#         [0.5021],
#         [0.6470]], grad_fn=<AddmmBackward>)

my_func(device="cpu", seed=76)
# tensor([[0.3573],
#         [0.5021],
#         [0.6470]], grad_fn=<AddmmBackward>)