我在GCN和pytorch一起工作。我可以找到代码,
weight = nn.Parameter(torch.FloatTensor(in_features, out_features))这段代码是否将权重设置为随机值?
如果是,那么
weight = nn.Parameter(torch.zeros(size=(in_features, out_features)))这是否只是将初始值设置为零矩阵而不是随机值?
我也想知道代码更新权重是多少。
发布于 2021-07-17 22:22:42
在nn.Module中使用nn.Parameter将张量定义为子模块。这样做的效果是将该张量注册为模块的参数(它将出现在.parameters()生成器中)。默认情况下,提供的张量将其requires_grad设置为True。您可以向它传递任何张量(torch.FloatTensor是随机初始化的,是的)。
class F(nn.Module):
def __init__(self):
super().__init__()
self.theta = nn.Parameter(torch.tensor([1.,2.,1.]))那么.parameters()将包含该张量:
>>> next(F().parameters())
Parameter containing:
tensor([1., 2., 1.], requires_grad=True)但是请注意,如果您没有将该nn.Parameter分配给该类模块的属性,那么该张量将不会被注册。
https://stackoverflow.com/questions/68419771
复制相似问题