Tensorflow如何支持Cuda流？

Question

Tensorflow是自动利用Cuda流在单个GPU上并行执行计算图，还是应该手动将流分配给操作/张量？

Answer 1

目前，TensorFlow只使用一个计算流和多个复制流。一些内核可能选择使用多个流进行计算，同时维护单个流的语义。

我们的实验表明，自动支持多流并不能带来很大的性能提高，因为我们的大多数内核都足够大，可以利用GPU中的所有处理器。但是，启用多流将使我们当前的设计无法积极地回收GPU内存。

这是我们今后可能会重新考虑的决定。如果发生这种情况，TensorFlow可能会自动将操作系统/内核分配给不同的Cuda流，而不会将它们公开给用户。