首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将深度学习的可训练参数分解为两部分?

问如何将深度学习的可训练参数分解为两部分?
EN

Stack Overflow用户
提问于 2021-05-27 19:44:10
回答 2查看 130关注 0票数 0

当我阅读“联合半监督学习与客户间一致性和不相交学习”时,我遇到了这个问题。我很想知道这种不相合的学习。作者说:“对于给定的模型,它应该分解为模型= A + b的两个部分,当我们在数据集A上训练模型时,我们只更新a和保持B不变,当我们在数据集B上训练模型时,我们只更新b并保持不变。”我们怎么能用火把做这件事?

非常感谢你的帮助!

EN

回答 2

Stack Overflow用户

发布于 2021-05-28 09:25:03

好吧,现在更有意义了。在超参数的上下文中使用“+”确实是有意义的,但它令人困惑。不管怎么说,我会这么做的。让我们建立一个模型,它必须是连续的,它们的权重分别是σ和ψ(这是一个虚拟的例子,不要试图去训练它)

代码语言:javascript
复制
class DecomposedModel(nn.Module):
    def __init__(self):
        self.layer_A = nn.Linear(2, 3)
        self.layer_B = nn.Linear(3, 5)

    def forward(self, input_t):
        """ input_t expected shape is (B, 2), output will be (B,5) """
        return self.layer_B(nn.ReLU(self.layer_A(input_t)))

    def parameters_A(self):
        """ returns σ parameters"""
        return self.layer_A.parameters()

    def parameters_B(self):
        """ returns ψ parameters """
        return self.layer_B.parameters()

model = DecomposedModel()
opt_A = Adam(model.parameters_A(), lr=1e-3)
opt_B = Adam(model.parameters_B(), lr=1e-3)

使用这种结构,您可以选择在opt_A和opt_B上应用opt_A和opt_B,一次只训练一个层,所以当您在dataset A上进行培训时,您可以调用opt_A.step(),而在dataset B上则调用opt_B.step() (当然还有对zero_grad的相应调用)。

票数 0
EN

Stack Overflow用户

发布于 2021-08-15 15:21:46

本文作者的方法是:在两个变量中创建一个使用sigma和phi的自定义层。

代码语言:javascript
复制
class CustomLinear(nn.Module):
    def __init__(self, in_shape: int, out_shape: int, supervised: bool):
        super().__init__()

        self.sigma = nn.Parameter(torch.randn(
            in_shape, out_shape), requires_grad=supervised)
        self.phi = nn.Parameter(torch.randn(
            in_shape, out_shape), requires_grad=not supervised)

        self.sigma_bias = nn.Parameter(
            torch.randn(out_shape), requires_grad=supervised)
        self.phi_bias = nn.Parameter(
            torch.randn(out_shape), requires_grad=not supervised)

    def forward(self, X):
        theta = self.phi + self.sigma
        bias = self.phi_bias + self.sigma_bias
        return X @ theta + bias

使用sigma和phi,您还可以使用两个优化器来控制它,而不是使用requires_grad。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67728938

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档