首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Tensorflow的图间复制是数据并行的一个例子吗?

问Tensorflow的图间复制是数据并行的一个例子吗?
EN

Stack Overflow用户
提问于 2018-06-20 20:17:41
回答 1查看 563关注 0票数 8

我读过分布式tensorflow文档和这个答案。

根据这的说法,在数据并行方法中:

  • 该算法将数据分布在不同的核间。
  • 每个核心独立地尝试估计相同的参数。
  • 然后,核心交换他们的估计彼此,以得出正确的估计为步骤。

在模型并行方法中:

  • 该算法向所有核发送相同的数据。
  • 每个核心负责估计不同的参数。
  • 然后,核之间交换它们的估计值,为所有参数得出正确的估计值。

In-graph replication和Between-graph replication与这些方法有什么关系?

这篇文章说:

例如,可以在不同的GPU上并行地训练网络中的不同层。这个培训过程通常被称为“模型并行性”(或TensorFlow文档中的“图中复制”)。

和:

在“数据并行性”(或TensorFlow文档中的“图间复制”)中,您对每个设备使用相同的模型,但是使用不同的训练样本在每个设备中训练模型。

这准确吗?

来自tensorflow文档页面中链接的Tensorflow DevSummit视频:

看起来数据被分割并分发给每个工作人员。那么,In-graph replication不是遵循数据并行的方法吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-07-02 13:37:54

图内复制和图间复制与数据并行和模型并行没有直接关系.数据并行和模型并行是将并行化算法分为两类的术语,如您链接的quora答案中所描述的那样。但是图内复制和图间复制是在tensorflow中实现并行性的两种方法.例如,数据并行可以通过图内复制和图间复制来实现.

与视频中显示的一样,图形中的复制是通过将单个图的不同部分分配给不同的设备来实现的。在中间图复制中,多个图并行运行,这是通过使用分布式tensorflow实现的。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50956392

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档