首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >关于pyorch中的autograd,添加新的用户自定义层,我应该如何使其参数更新?

问关于pyorch中的autograd,添加新的用户自定义层,我应该如何使其参数更新?
EN

Stack Overflow用户
提问于 2018-12-28 20:51:55
回答 1查看 94关注 0票数 1

所有人!

我的需求是光流生成问题。我有两张原始图像和一张光流数据作为地面实况,现在我的算法是使用原始图像生成光流,并且生成光流和地面实况之间的欧几里德距离可以定义为损失值,因此它可以实现反向传播来更新参数。

我把它看作是一个回归问题,现在我必须想出一些想法:

我可以将每个参数设置为(required_grad = true),并计算损失,然后我可以使用loss.backward()来获取梯度,但我不知道如何在优化器中添加这些参数来更新这些参数。

我把我的算法写成一个模型。如果我设计一个“自定义”模型,我可以在def init()中初始化几个层,比如nn.Con2d(),nn.Linear(),我还可以在(torch.optim.Adam(model.parameters()这样的方法中更新参数,但是如果我自己定义新的层,我应该如何在更新参数集合时添加这个层的参数呢?

这个问题让我困惑了好几天。有没有更新用户自定义参数的好方法?如果你能给我一些建议,我将不胜感激!

EN

回答 1

Stack Overflow用户

发布于 2018-12-28 21:14:49

张量值的梯度是计算的,如果

让requires_grad == True

  • Are用来计算一些你调用.backward().

的值(通常是损失)

然后,渐变将在其.grad参数中累积。您可以手动使用它们来执行任意计算(包括优化)。预定义的optimizers接受一个iterable of parameters,model.parameters()就是这样做的--它返回一个可迭代的参数。如果您有一些自定义的“自由浮动”参数,您可以将它们作为

代码语言:javascript
复制
my_params = [my_param_1, my_param_2]
optim = torch.optim.Adam(my_params)

您还可以将它们与其他参数迭代器合并,如下所示:

代码语言:javascript
复制
model_params = list(model.parameters())
my_params = [my_param_1, my_param_2]
optim = torch.optim.Adam(model_params + my_params)

然而,在实践中,您通常可以构建代码结构来避免这种情况。有一个包装张量的nn.Parameter类。nn.Module的所有子类的__setattr__都会被覆盖,因此每当您将nn.Parameter的实例指定为其属性时,它都会成为Module的.parameters() iterable的一部分。

代码语言:javascript
复制
class MyModule(nn.Module):
    def __init__(self):
        super(MyModule, self).__init__()
        self.my_param_1 = nn.Parameter(torch.tensor(...))
        self.my_param_2 = nn.Parameter(torch.tensor(...))

将允许您编写

代码语言:javascript
复制
module = MyModule()
optim = torch.optim.Adam(module.parameters())

并让optim更新module.my_param_1和module.my_param_2。这是首选的方法,因为它有助于保持代码的结构化

在创建optimizer

  • You时,您不必手动包含所有参数。nn.Parameters.

module.double()可以处理所有子对象nn.Parameter,而不需要手动遍历它们。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/53958898

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档