首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >更新前送焊枪中的自定义参数

问更新前送焊枪中的自定义参数
EN

Stack Overflow用户
提问于 2022-01-17 13:37:43
回答 1查看 530关注 0票数 1

我正在尝试创建一个自定义向量,它可以在Pytorch中进行稍后的优化。为此,我创建了以下类:

代码语言:javascript
复制
import torch
from torch import nn

class customVector(nn.Module):
    def __init__(self, S):
        super().__init__()

        self.vector = nn.Parameter(torch.sqrt(torch.ones((1,S))/S))

    def forward(self, x):
        #Normalise to unit norm 
        self.vector = self.vector / torch.sqrt(self.vector @ self.vector.T)

        y = x * self.vector 

        return y

正如你所看到的,我需要向量在每次应用时都有单位范数。然而,操作self.vector / torch.sqrt(self.vector @ self.vector.T)返回一个张量,当再次分配给self.vector (即nn.Parameter )时,我得到错误:TypeError: cannot assign 'torch.FloatTensor' as parameter 'vector' (torch.nn.Parameter or None expected)。

我想知道是否有一种方法来约束向量在每次应用时都有单位范数。我曾想过要做self.vector = nn.Parameter(self.vector / torch.sqrt(self.vector @ self.vector.T)),但我担心如果这样做会改变网络的参数,那么就不会在后端的每一次迭代中优化向量。

EN

回答 1

Stack Overflow用户

发布于 2022-01-17 13:46:14

只需在分配之前转换它:

代码语言:javascript
复制
self.vector = nn.Parameter(self.vector / torch.sqrt(self.vector @ self.vector.T))

如果.data的行为不像预期的那样,也可以尝试使用它:

代码语言:javascript
复制
self.vector = (self.vector / torch.sqrt(self.vector @ self.vector.T)).data

有关这方面的更多信息:How to assign a new value to a pytorch Variable without breaking backpropagation?

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70742284

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档