首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在pytorch数据并行模式下,如何使用全局张量?

问在pytorch数据并行模式下,如何使用全局张量?
EN

Stack Overflow用户
提问于 2019-04-22 18:20:43
回答 2查看 516关注 0票数 1

在这个例子中,我希望z_proto对于不同的GPU是全局的。然而,在数据并行模式下,它也被拆分到不同的GPU中。如何解决这样的问题?谢谢。

代码语言:javascript
复制
class SequencePrototypeTokenClassification(nn.Module):
    def __init__(self,seq_model, label_num):
        super(SequencePrototypeTokenClassification, self).__init__()
        self.seq_model = seq_model
        self.label_num = label_num

    def forward(self, input_ids, token_type_ids, attention_mask, labels, z_proto, n_query, target_inds):
        z, _ = self.seq_model(input_ids, token_type_ids, attention_mask, output_all_encoded_layers=False)
        z_dim = z.size(-1)
        zq = z.squeeze().view(-1, z_dim)
        dists = euclidean_dist(zq, z_proto)
        log_p_y = F.log_softmax(-dists, dim=1).view(-1, self.label_num)
        loss_val = -log_p_y.gather(1, self.target_inds).squeeze().view(-1).mean()
        _, y_hat = log_p_y.max(1)

        return loss_val, y_hat
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-04-22 23:32:09

事实证明,DataParallel只会复制nn.Module的nn.Parameter。因此,我在模块中随机初始化了一个名为z_proto的nn.Parameter,并将张量z_proto的值复制到参数中。然后将该参数复制到4个GPU中。

票数 0
EN

Stack Overflow用户

发布于 2019-04-22 20:01:10

根据上面的代码,z_proto似乎是forward函数的参数之一,而不是模型的一部分。因此,简单地将其存储在主GPU上的tensor中将使其在多个GPU上具有相同的值。

编辑

基于the documentation,DataParallel似乎将所有输入到前向传递函数的输入拆分到GPU上。您可以通过将其作为类变量存储在模型对象本身中来规避它。如果不是静态变量,则可以在调用forward函数之前更新值。

代码语言:javascript
复制
class SequencePrototypeTokenClassification(nn.Module):
    def __init__(self,seq_model, label_num):
        ...
        self.z_proto = None
        ...
        ...


#Training loop
    ...
    model.z_proto = value
    model.forward()
    ...
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55792837

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档