首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >tensorflow中的图复制:会话和变量

问tensorflow中的图复制:会话和变量
EN

Stack Overflow用户
提问于 2017-02-04 23:40:48
回答 2查看 1.1K关注 0票数 3

关于分布式Tensorflow中图间复制的问题,因为我没有从教程中得到几分钟的时间。据我所知,目前的模式如下:

我们有参数服务器,我们只是在单独的进程中启动它,并使server.join()。我们有工作人员,每个人都构建类似的计算图,其中包含链接到参数服务器(通过tf.train.replica_device_setter)的参数节点,以及放置在员工身上的计算节点。

我没发现的是:

  1. 会话在这个模型中是如何工作的?因为在示例/教程中,它隐藏在tf.train.Supervisor后面。我们是在每个工作人员上有单独的会话,还是仅仅有一个从所有工作人员和参数服务器积累图表的大型会话?
  2. 如何在参数服务器上初始化全局变量?如果我通过tf.train.replica_device_setter将这些参数链接到工作进程上,我想知道是否可以在其中一个辅助进程中初始化它们(选择它为“主进程”)。对吗?
  3. 其主旨如下:

https://gist.github.com/yaroslavvb/ea1b1bae0a75c4aae593df7eca72d9ca

全局变量仅在参数服务器进程中初始化,所有工作人员都认为它们已初始化。既然他们甚至在不同的会议上工作,那怎么可能呢?我无法在简单的例子中复制它。

  1. 我在核心程序中有主要的课程,在那里我进行模型的训练。培训循环的一部分是收集数据,这反过来需要在tensorflow集群上进行计算。因此,我需要创建这个集群,将被训练模型的参数服务器当前状态设置起来,然后从计算中收集数据,然后继续进行训练循环。1)如何将现有的训练模型传递给集群? 2)从集群中提取采集到的数据,并将其传递给主程序。

提前感谢!

编辑:

到q.3:以前有人回答(在tensorflow中,变量值是会话存储的唯一上下文信息吗?),在分布式运行时变量在会话之间共享。这是否意味着当我使用某个“目标”创建会话时,所有变量都将在运行在同一图上的会话之间共享?

EN

回答 2

Stack Overflow用户

发布于 2017-02-05 01:57:07

我想我可以尝试自己回答这些问题,至少对于其他试图利用分布式Tensorflow的新手来说,这可能是有帮助的,因为到目前为止,还没有关于这个主题的简洁和清晰的博客文章。

希望更多知识渊博的人能在需要的时候纠正我。

  1. 我们在所有服务器上都有单独的会话,这些会话共享它们的资源(变量、队列和读取器),但只在分布式设置(即将server.target传递给tf.Session构造函数)中。

参考文献:management#Session

  1. 参数变量通常在一个“主”进程中初始化。它可以是启动参数服务器的进程。但严格来说,只在一个过程中就能做到这一点是不必要的。
  2. 因为第1页。复制:)
  3. 由于@YaroslavBulatov的想法,我提出了以下方法,这似乎是最简单的方法:
代码语言:javascript
复制
- Cluster: one local "calculation server" and N "workers".
- "Calculation server" keeps all the parameters of global network and performs training steps. All training ops are assigned to it.
- "Workers" collect data in parallel and then put it in Queue; these data are used by "calculation server" when doing training steps.

​

因此,高级算法:

  1. 启动集群中的所有单元
  2. 在计算服务器上建立comp图和训练操作
  3. 在员工上构建comp图(变量链接到计算服务器)。
  4. 与工人收集数据
  5. 在计算服务器上执行培训步骤并更新全局网络。

重复4-5,直到收敛:)

到目前为止,我通过队列(何时开始收集数据,何时开始培训步骤)在计算服务器和工作人员之间进行协调,这肯定不是最优雅的解决方案。任何反馈都是非常欢迎的。

票数 2
EN

Stack Overflow用户

发布于 2020-05-29 15:20:35

我还偶然发现了这些以及非常相似和相关的问题。我试图澄清所有这些在我的分布式TensorFlow概述中。也许这对一些人是有用的。

更具体地说,让我试着回答你们的问题:

  1. 您说您在图之间复制,即为每个工作人员构建一个单独的计算图。这意味着您在任何地方都有一个单独的会话,因为否则将无法使用该计算图。服务器(tf.distribute.Server)将不使用本地计算图。当远程会话(客户端)连接到它时,它只执行一些事情。会话有图表。如果只有一个会话,那么也只有一个图,然后就有图中的复制。
  2. 如果您共享变量(例如,它们位于参数服务器上),那么如果其中一个工作人员进行初始化(例如参数服务器本身),就足够了。否则,它将取决于特定的分布式策略以及您如何实现变量的同步。例如,镜像变量在每个副本上都有单独的副本,您需要以某种方式确保它们是同步的。
  3. 在这种情况下,只有一个变量的副本,它驻留在参数服务器上。这个变量上的所有read和write都是对参数服务器的RPC调用。
  4. 我不太清楚你所说的主程序是什么意思。您将有多个程序实例,每个工作人员一个。但你很可能会把其中一名工人标记为主要工作人员,这将有一些更多的责任,比如拯救检查站。但是,否则,所有的工作人员都是平等的,并做所有相同的事情(这同样是为了图之间的复制)。梯度积累或参数更新的外观取决于您的策略(例如,您是进行同步培训还是异步培训,等等)。
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42046944

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档