所有人!
我的需求是光流生成问题。我有两张原始图像和一张光流数据作为地面实况,现在我的算法是使用原始图像生成光流,并且生成光流和地面实况之间的欧几里德距离可以定义为损失值,因此它可以实现反向传播来更新参数。
我把它看作是一个回归问题,现在我必须想出一些想法:
我可以将每个参数设置为(required_grad = true),并计算损失,然后我可以使用loss.backward()来获取梯度,但我不知道如何在优化器中添加这些参数来更新这些参数。
我把我的算法写成一个模型。如果我设计一个“自定义”模型,我可以在def init()中初始化几个层,比如nn.Con2d(),nn.Linear(),我还可以在(torch.optim.Adam(model.parameters()这样的方法中更新参数,但是如果我自己定义新的层,我应该如何在更新参数集合时添加这个层的参数呢?
这个问题让我困惑了好几天。有没有更新用户自定义参数的好方法?如果你能给我一些建议,我将不胜感激!
发布于 2018-12-28 21:14:49
张量值的梯度是计算的,如果
让requires_grad == True
.backward().的值(通常是损失)
然后,渐变将在其.grad参数中累积。您可以手动使用它们来执行任意计算(包括优化)。预定义的optimizers接受一个iterable of parameters,model.parameters()就是这样做的--它返回一个可迭代的参数。如果您有一些自定义的“自由浮动”参数,您可以将它们作为
my_params = [my_param_1, my_param_2]
optim = torch.optim.Adam(my_params)您还可以将它们与其他参数迭代器合并,如下所示:
model_params = list(model.parameters())
my_params = [my_param_1, my_param_2]
optim = torch.optim.Adam(model_params + my_params)然而,在实践中,您通常可以构建代码结构来避免这种情况。有一个包装张量的nn.Parameter类。nn.Module的所有子类的__setattr__都会被覆盖,因此每当您将nn.Parameter的实例指定为其属性时,它都会成为Module的.parameters() iterable的一部分。
class MyModule(nn.Module):
def __init__(self):
super(MyModule, self).__init__()
self.my_param_1 = nn.Parameter(torch.tensor(...))
self.my_param_2 = nn.Parameter(torch.tensor(...))将允许您编写
module = MyModule()
optim = torch.optim.Adam(module.parameters())并让optim更新module.my_param_1和module.my_param_2。这是首选的方法,因为它有助于保持代码的结构化
在创建optimizer
nn.Parameters.
module.cuda()或module.double()等方法,将其所有子对象上的渐变置零。
module.double()可以处理所有子对象nn.Parameter,而不需要手动遍历它们。
https://stackoverflow.com/questions/53958898
复制相似问题