想象一下下面的场景,我有一个很大的模型计算图,不适合一台机器。因此,我希望在两台机器之间拆分计算图。此外,我希望进行计算的机器也存储它们修改/读取的变量(我不想设置额外的参数服务器,我假设模型图分区访问的变量集是不相交的)。
您能提供一个使用分布式Tensorflow实现此配置的示例吗?例如,使用原语tf.device()
发布于 2018-05-11 22:54:51
请查看tensorflow网站(https://www.tensorflow.org/deploy/distributed)上的解释。
使用tf.device('/job:worker/task:1')将节点放置在一台或另一台计算机上。您可以随心所欲地放置它们,只需注意放置在不同机器上的输入将需要通过网络发送数据。
据我所知,你不能摆脱参数服务器。参数服务器只是一个处理变量更新的作业。没有什么可以阻止您在与tensorflow相同的计算机上运行该作业。因此,您的设置是在两台机器上启动tensorflow,并在每台机器上放置一个参数服务器。只需确保变量放在本地参数服务器上(同样使用tf.device)。
https://stackoverflow.com/questions/50291742
复制相似问题