关于分布式Tensorflow中图间复制的问题,因为我没有从教程中得到几分钟的时间。据我所知,目前的模式如下:
我们有参数服务器,我们只是在单独的进程中启动它,并使server.join()。我们有工作人员,每个人都构建类似的计算图,其中包含链接到参数服务器(通过tf.train.replica_device_setter)的参数节点,以及放置在员工身上的计算节点。
我没发现的是:
https://gist.github.com/yaroslavvb/ea1b1bae0a75c4aae593df7eca72d9ca
全局变量仅在参数服务器进程中初始化,所有工作人员都认为它们已初始化。既然他们甚至在不同的会议上工作,那怎么可能呢?我无法在简单的例子中复制它。
提前感谢!
编辑:
到q.3:以前有人回答(在tensorflow中,变量值是会话存储的唯一上下文信息吗?),在分布式运行时变量在会话之间共享。这是否意味着当我使用某个“目标”创建会话时,所有变量都将在运行在同一图上的会话之间共享?
发布于 2017-02-05 01:57:07
我想我可以尝试自己回答这些问题,至少对于其他试图利用分布式Tensorflow的新手来说,这可能是有帮助的,因为到目前为止,还没有关于这个主题的简洁和清晰的博客文章。
希望更多知识渊博的人能在需要的时候纠正我。
参考文献:management#Session
- Cluster: one local "calculation server" and N "workers".
- "Calculation server" keeps all the parameters of global network and performs training steps. All training ops are assigned to it.
- "Workers" collect data in parallel and then put it in Queue; these data are used by "calculation server" when doing training steps.
因此,高级算法:
重复4-5,直到收敛:)
到目前为止,我通过队列(何时开始收集数据,何时开始培训步骤)在计算服务器和工作人员之间进行协调,这肯定不是最优雅的解决方案。任何反馈都是非常欢迎的。
发布于 2020-05-29 15:20:35
我还偶然发现了这些以及非常相似和相关的问题。我试图澄清所有这些在我的分布式TensorFlow概述中。也许这对一些人是有用的。
更具体地说,让我试着回答你们的问题:
tf.distribute.Server)将不使用本地计算图。当远程会话(客户端)连接到它时,它只执行一些事情。会话有图表。如果只有一个会话,那么也只有一个图,然后就有图中的复制。read和write都是对参数服务器的RPC调用。https://stackoverflow.com/questions/42046944
复制相似问题