在tensorflow中使用分布式多GPU推理的最佳方式是什么？

Question

我是Tensorflow的新手，我正在致力于将测试图像分发到多个GPU。我读过很多Stack overflow answers和Github示例，我认为可能有两种方法。

1)使用tf.FIFOQueue()来馈送每个GPU镜像，但是很多答案都不推荐使用队列(由于新的tf.data接口)。而且它有一些问题(https://github.com/tensorflow/tensorflow/issues/8061)

2)使用tf.data接口。我不确定这个API是否支持GPU。在这个问题(https://github.com/tensorflow/tensorflow/issues/13610)中，使用GPU的输入管道似乎还不能支持tf.data馈送。

分布式Tensorflow不在我的考虑范围内(因为我们的服务器模型和规模都不是那么大)

如果有人能给我任何建议，我将不胜感激。

Answer 1

使用tf.data。tf.data应用编程接口旨在取代队列的几乎所有功能，并使一切变得更容易和更高性能。

它还可以将数据馈送到GPU。您链接到的第二个问题只是说预处理不会在GPU上发生，但数据将在CPU上处理，然后发送到多个GPU。