我读过分布式tensorflow文档和这个答案。
根据这的说法,在数据并行方法中:
在模型并行方法中:
In-graph replication和Between-graph replication与这些方法有什么关系?
这篇文章说:
例如,可以在不同的GPU上并行地训练网络中的不同层。这个培训过程通常被称为“模型并行性”(或TensorFlow文档中的“图中复制”)。
和:
在“数据并行性”(或TensorFlow文档中的“图间复制”)中,您对每个设备使用相同的模型,但是使用不同的训练样本在每个设备中训练模型。
这准确吗?
来自tensorflow文档页面中链接的Tensorflow DevSummit视频:

看起来数据被分割并分发给每个工作人员。那么,In-graph replication不是遵循数据并行的方法吗?
发布于 2018-07-02 13:37:54
图内复制和图间复制与数据并行和模型并行没有直接关系.数据并行和模型并行是将并行化算法分为两类的术语,如您链接的quora答案中所描述的那样。但是图内复制和图间复制是在tensorflow中实现并行性的两种方法.例如,数据并行可以通过图内复制和图间复制来实现.
与视频中显示的一样,图形中的复制是通过将单个图的不同部分分配给不同的设备来实现的。在中间图复制中,多个图并行运行,这是通过使用分布式tensorflow实现的。
https://stackoverflow.com/questions/50956392
复制相似问题