首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >具有模型并行和节点存储变量的分布式Tensorflow

问具有模型并行和节点存储变量的分布式Tensorflow
EN

Stack Overflow用户
提问于 2018-05-11 19:52:10
回答 1查看 98关注 0票数 0

想象一下下面的场景,我有一个很大的模型计算图,不适合一台机器。因此,我希望在两台机器之间拆分计算图。此外,我希望进行计算的机器也存储它们修改/读取的变量(我不想设置额外的参数服务器,我假设模型图分区访问的变量集是不相交的)。

您能提供一个使用分布式Tensorflow实现此配置的示例吗?例如,使用原语tf.device()

EN

回答 1

Stack Overflow用户

发布于 2018-05-11 22:54:51

请查看tensorflow网站(https://www.tensorflow.org/deploy/distributed)上的解释。

使用tf.device('/job:worker/task:1')将节点放置在一台或另一台计算机上。您可以随心所欲地放置它们,只需注意放置在不同机器上的输入将需要通过网络发送数据。

据我所知,你不能摆脱参数服务器。参数服务器只是一个处理变量更新的作业。没有什么可以阻止您在与tensorflow相同的计算机上运行该作业。因此,您的设置是在两台机器上启动tensorflow,并在每台机器上放置一个参数服务器。只需确保变量放在本地参数服务器上(同样使用tf.device)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50291742

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档