首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Pytorch中使用nn.Parameter定义标量的最佳方法

问在Pytorch中使用nn.Parameter定义标量的最佳方法
EN

Stack Overflow用户
提问于 2020-09-22 19:58:30
回答 1查看 1.1K关注 0票数 2

在我的CNN中,在某个阶段,我想将一个特征图与一些标量相乘,这应该通过网络来学习。下面哪一项是最好的方法,或者都是一样的?标量必须初始化为5。

代码语言:javascript
复制
# Method 1
def __init__(self):
    super(..., self).__init__()
    ...
    ...
    alpha = nn.Parameter(5)
    ...

def forward(self, x):
    ...
    x = x * alpha
    return x
代码语言:javascript
复制
# Method 2
def __init__(self):
    super(..., self).__init__()
    ...
    ...
    alpha = nn.Parameter(torch.tensor(5))
    ...

def forward(self, x):
    ...
    x = x * alpha
    return x
代码语言:javascript
复制
# Method 3
def __init__(self):
    super(..., self).__init__()
    ...
    ...
    alpha = nn.Parameter(torch.ones(1)*5)
    ...

def forward(self, x):
    ...
    x = x * alpha
    return x

如果所有方法都相同,我会更喜欢方法1,让CNN学习特征图x的适当乘数alpha。我希望在所有情况下,α都是初始化为5的float32张量。

你诚心的,

莫希特

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-09-22 20:34:45

第三个选项将起作用,因为参数构造函数需要一个浮点数。参数是使用优化器更新的,因此除了缓冲区之外,它们还需要有渐变。

缓冲区由您自己管理,而不是由优化器管理。

你可以使用这段实验代码。

代码语言:javascript
复制
BS=2
class M(nn.Module):
    def __init__(self):
        super().__init__()
        self.weights = nn.Parameter(torch.randn(BS, 2))
        self.bias = nn.Parameter(torch.zeros(BS))
        self.alpha = nn.Parameter(torch.tensor(5.))

    def forward(self, x):
        return x @ self.weights + self.bias

m=M()
m.parameters()
list(m.parameters())

输出:

代码语言:javascript
复制
[Parameter containing:
 tensor([[-0.5627,  2.3067],
         [ 1.3821, -0.1893]], requires_grad=True), Parameter containing:
 tensor([0., 0.], requires_grad=True), Parameter containing:
 tensor(5., requires_grad=True)]

在这里,我直接将值5.设置为参数alpha,并添加了更多的参数。

你可以像Shai解释的那样also do:

代码语言:javascript
复制
self.register_parameter(name='alpha', param=torch.nn.Parameter(torch.tensor(5.)))

你可能会问为什么我们有nn.Module.register_parameter,为什么我们不直接使用nn.Parameter()方法呢?

nn.Module.register_parameter获取name和张量,并首先检查name是否在模块的字典中。而nn.Parameter()没有这样的检查。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64009286

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档