一幅图像的神经网络推理:为什么GPU利用率不是100%？

Question

首先，这个问题与神经网络推理有关，而不是训练。

我发现，当在GPU (例如P100)上一次又一次地对一幅图像进行训练的神经网络进行推理时，Tensorflow计算能力的利用率不是100%，而是70%左右。如果图像不必传输到GPU，情况也是如此。因此，这个问题必须与计算并行化中的约束联系起来。我对此最好的猜测是：

• Tensorflow只能在一定程度上利用GPU的并行化功能。(与TensorRT模型相同的模型的更高利用率也表明了这一点)。在这种情况下，问题是:原因是什么？
• 具有多个后续层的固有神经网络结构避免了更高的使用可能性。因此，问题不在于框架的开销，而在于神经网络的总体设计。在这种情况下，问题是:对此的限制是什么？
• 以上两者加在一起。

谢谢你在这个问题上的想法！

Answer 1

为什么在对一幅图像运行神经元网络预测时，GPU的利用率会达到100%？

GPU利用率为每时间单位(例如1秒)。这意味着，当神经元网络算法在此时间单位过去之前完成(例如在0.5s内)，则GPU的其余时间可能被其他程序使用，或者根本不被使用。如果GPU没有被任何其他程序使用，那么你就不会达到100%。