在我的CNN中,在某个阶段,我想将一个特征图与一些标量相乘,这应该通过网络来学习。下面哪一项是最好的方法,或者都是一样的?标量必须初始化为5。
# Method 1
def __init__(self):
super(..., self).__init__()
...
...
alpha = nn.Parameter(5)
...
def forward(self, x):
...
x = x * alpha
return x# Method 2
def __init__(self):
super(..., self).__init__()
...
...
alpha = nn.Parameter(torch.tensor(5))
...
def forward(self, x):
...
x = x * alpha
return x# Method 3
def __init__(self):
super(..., self).__init__()
...
...
alpha = nn.Parameter(torch.ones(1)*5)
...
def forward(self, x):
...
x = x * alpha
return x如果所有方法都相同,我会更喜欢方法1,让CNN学习特征图x的适当乘数alpha。我希望在所有情况下,α都是初始化为5的float32张量。
你诚心的,
莫希特
发布于 2020-09-22 20:34:45
第三个选项将起作用,因为参数构造函数需要一个浮点数。参数是使用优化器更新的,因此除了缓冲区之外,它们还需要有渐变。
缓冲区由您自己管理,而不是由优化器管理。
你可以使用这段实验代码。
BS=2
class M(nn.Module):
def __init__(self):
super().__init__()
self.weights = nn.Parameter(torch.randn(BS, 2))
self.bias = nn.Parameter(torch.zeros(BS))
self.alpha = nn.Parameter(torch.tensor(5.))
def forward(self, x):
return x @ self.weights + self.bias
m=M()
m.parameters()
list(m.parameters())输出:
[Parameter containing:
tensor([[-0.5627, 2.3067],
[ 1.3821, -0.1893]], requires_grad=True), Parameter containing:
tensor([0., 0.], requires_grad=True), Parameter containing:
tensor(5., requires_grad=True)]在这里,我直接将值5.设置为参数alpha,并添加了更多的参数。
你可以像Shai解释的那样also do:
self.register_parameter(name='alpha', param=torch.nn.Parameter(torch.tensor(5.)))你可能会问为什么我们有nn.Module.register_parameter,为什么我们不直接使用nn.Parameter()方法呢?
nn.Module.register_parameter获取name和张量,并首先检查name是否在模块的字典中。而nn.Parameter()没有这样的检查。
https://stackoverflow.com/questions/64009286
复制相似问题