首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何训练在pytorch中嵌套列表中写入的参数?

问如何训练在pytorch中嵌套列表中写入的参数?
EN

Stack Overflow用户
提问于 2022-06-25 09:24:44
回答 1查看 34关注 0票数 0

我构建了一个模型AdaFDNN。下面是我对模型定义的一部分。

代码语言:javascript
复制
class AdaFDNN(nn.Module):
def __init__(self, num_covariate=5,
             num_hidden_layers = 4, # L-1
             total_num_layers = 5, # L
             neurons = [10, 10, 10, 10, 1],
             train_size = 128,
             grid=(0, 1), # grid is time idx
             dropout = 0.1, lambda1 = 0.0, lambda2 = 0.0, device = None):
    super().__init__()
    self.train_size = train_size
    self.num_covariate = num_covariate
    self.lambda1 = lambda1; self.lambda2 = lambda2; self.device = device
    self.num_hidden_layers = num_hidden_layers; self.total_num_layers = total_num_layers
    self.neurons = [*neurons, 1]; self.aug_neurons = [num_covariate, *neurons]
    # grid should include both end points
    self.grid_array = np.array(grid)
    # send the time grid tensor to device
    self.t = torch.tensor(self.grid_array).to(device).float()
    self.h = torch.tensor(self.grid_array[1:] - self.grid_array[:-1]).to(device).float()
    self.bias_para = [[nn.Parameter(torch.randn((len(self.t), 1))) 
                                        for k in range(self.neurons[l])] for l in range(self.total_num_layers)]
    self.weight_para = [[[nn.Parameter(torch.randn((len(self.t), len(self.t))))
                                           for j in range(self.aug_neurons[l])]
                                          for k in range(self.neurons[l])] for l in range(self.total_num_layers)]

我必须使用self.bias_para和self.weight_para。它们都是应该更新的嵌套列表。因此,我使用nn.Parameter。但是,它不能运行,我后来发现我也应该添加nn.ParameterList。不过,我两种方法都试过

代码语言:javascript
复制
    self.bias_para = nn.ParameterList([[nn.Parameter(torch.randn((len(self.t), 1))) 
                                        for k in range(self.neurons[l])] for l in range(self.total_num_layers)])
    self.weight_para = nn.ParameterList([[[nn.Parameter(torch.randn((len(self.t), len(self.t))))
                                           for j in range(self.aug_neurons[l])]
                                          for k in range(self.neurons[l])] for l in range(self.total_num_layers)])

和

代码语言:javascript
复制
    self.bias_para = nn.ParameterList([nn.ParameterList([nn.Parameter(torch.randn((len(self.t), 1))) 
                                        for k in range(self.neurons[l])]) for l in range(self.total_num_layers)])
    self.weight_para = nn.ParameterList([nn.ParameterList([nn.ParameterList([nn.Parameter(torch.randn((len(self.t), len(self.t))))
                                           for j in range(self.aug_neurons[l])])
                                          for k in range(self.neurons[l])]) for l in range(self.total_num_layers)])

我获得了一个错误消息'TypeError:无法将'torch.nn.modules.container.ParameterList‘对象赋值给参数'0’(torch.nn.Parameter或None required)。我该怎么做才能解决这个问题?

EN

回答 1

Stack Overflow用户

发布于 2022-06-28 07:35:06

nn.ParameterList应该包含单个nn.Parameter列表,并且不能包含其他nn.ParameterList。您可以使用单一的理解,而不是创建多个级别。

以下代码将成功地在nn.Module上注册所有这些参数:

代码语言:javascript
复制
self.bias_para = nn.ParameterList([nn.Parameter(torch.randn((len(self.t), 1)))
                                    for l in range(self.total_num_layers)
                                    for k in range(self.neurons[l]) ])

self.weight_para = nn.ParameterList([nn.Parameter(torch.randn((len(self.t), len(self.t))))
                                    for l in range(self.total_num_layers)
                                    for j in range(self.aug_neurons[l])
                                    for k in range(self.neurons[l]) ])
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72752707

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档