我正在尝试创建一个自定义向量,它可以在Pytorch中进行稍后的优化。为此,我创建了以下类:
import torch
from torch import nn
class customVector(nn.Module):
def __init__(self, S):
super().__init__()
self.vector = nn.Parameter(torch.sqrt(torch.ones((1,S))/S))
def forward(self, x):
#Normalise to unit norm
self.vector = self.vector / torch.sqrt(self.vector @ self.vector.T)
y = x * self.vector
return y正如你所看到的,我需要向量在每次应用时都有单位范数。然而,操作self.vector / torch.sqrt(self.vector @ self.vector.T)返回一个张量,当再次分配给self.vector (即nn.Parameter )时,我得到错误:TypeError: cannot assign 'torch.FloatTensor' as parameter 'vector' (torch.nn.Parameter or None expected)。
我想知道是否有一种方法来约束向量在每次应用时都有单位范数。我曾想过要做self.vector = nn.Parameter(self.vector / torch.sqrt(self.vector @ self.vector.T)),但我担心如果这样做会改变网络的参数,那么就不会在后端的每一次迭代中优化向量。
发布于 2022-01-17 13:46:14
只需在分配之前转换它:
self.vector = nn.Parameter(self.vector / torch.sqrt(self.vector @ self.vector.T))如果.data的行为不像预期的那样,也可以尝试使用它:
self.vector = (self.vector / torch.sqrt(self.vector @ self.vector.T)).data有关这方面的更多信息:How to assign a new value to a pytorch Variable without breaking backpropagation?
https://stackoverflow.com/questions/70742284
复制相似问题