当我阅读“联合半监督学习与客户间一致性和不相交学习”时,我遇到了这个问题。我很想知道这种不相合的学习。作者说:“对于给定的模型,它应该分解为模型= A + b的两个部分,当我们在数据集A上训练模型时,我们只更新a和保持B不变,当我们在数据集B上训练模型时,我们只更新b并保持不变。”我们怎么能用火把做这件事?
非常感谢你的帮助!
发布于 2021-05-28 09:25:03
好吧,现在更有意义了。在超参数的上下文中使用“+”确实是有意义的,但它令人困惑。不管怎么说,我会这么做的。让我们建立一个模型,它必须是连续的,它们的权重分别是σ和ψ(这是一个虚拟的例子,不要试图去训练它)
class DecomposedModel(nn.Module):
def __init__(self):
self.layer_A = nn.Linear(2, 3)
self.layer_B = nn.Linear(3, 5)
def forward(self, input_t):
""" input_t expected shape is (B, 2), output will be (B,5) """
return self.layer_B(nn.ReLU(self.layer_A(input_t)))
def parameters_A(self):
""" returns σ parameters"""
return self.layer_A.parameters()
def parameters_B(self):
""" returns ψ parameters """
return self.layer_B.parameters()
model = DecomposedModel()
opt_A = Adam(model.parameters_A(), lr=1e-3)
opt_B = Adam(model.parameters_B(), lr=1e-3)使用这种结构,您可以选择在opt_A和opt_B上应用opt_A和opt_B,一次只训练一个层,所以当您在dataset A上进行培训时,您可以调用opt_A.step(),而在dataset B上则调用opt_B.step() (当然还有对zero_grad的相应调用)。
发布于 2021-08-15 15:21:46
本文作者的方法是:在两个变量中创建一个使用sigma和phi的自定义层。
class CustomLinear(nn.Module):
def __init__(self, in_shape: int, out_shape: int, supervised: bool):
super().__init__()
self.sigma = nn.Parameter(torch.randn(
in_shape, out_shape), requires_grad=supervised)
self.phi = nn.Parameter(torch.randn(
in_shape, out_shape), requires_grad=not supervised)
self.sigma_bias = nn.Parameter(
torch.randn(out_shape), requires_grad=supervised)
self.phi_bias = nn.Parameter(
torch.randn(out_shape), requires_grad=not supervised)
def forward(self, X):
theta = self.phi + self.sigma
bias = self.phi_bias + self.sigma_bias
return X @ theta + bias使用sigma和phi,您还可以使用两个优化器来控制它,而不是使用requires_grad。
https://stackoverflow.com/questions/67728938
复制相似问题