Tensorflow未将张量/运算分配给所有可用GPU

Question

我有两个GPU，一个6 6GB的GTX Titan和一个11 6GB的GTX 1080Ti。

期望: Tensorflow应该自动使用所有GPU的内存。

事实: Tensorflow将两个设备映射为gpu:0和gpu:1，但它只使用gpu:0而从不使用gpu:1，当我增加内存需求时，它会在没有使用gpu:1的内存的情况下遇到OutOfMemory异常。

我想要做的是使用两个设备的11+6=17 GB内存。我想也许tensorflow只支持相同的GPU类型，如果它们是不同的类型，它只会使用其中的一个？

Answer 1

我认为使用两种不同类型的GPU来加速是一种糟糕的做法，因为tensorflow不会在不同的设备上放置操作。我应该在CPU上同步参数，并在多个GPU上分发不同的数据用于异步训练。