TensorFlow - GPU加速只用于训练？

Question

利用GPU加速与TensorFlow只提高模型的训练速度，还是也有助于提高速度时，使用模型的数据。

大多数指南只讨论如何将GPU加速用于培训目的。

同样，它会与任何TensorFlow模型一起工作吗？即使是那些通过shell脚本运行的？

此外，默认情况下，它是在shell脚本上运行，还是需要显式编码才能工作。

Answer 1

这两者都适用，是的，它应该使使用模型更快，即使不进行培训(除非模型非常简单，并且将其放置在GPU上的开销超过了性能成本)。我确实认为使用GPU对评估模型不那么必要。在训练时，通常将数据分批在一起，以便每个列车步骤都包含模型的多个运行。此外，需要计算梯度，这将占用大量的计算时间和内存。在培训期间还需要更新权重。因此，简单的向前传球要快得多。我真的认为如果你需要一次又一次的向前传球的话，你会看到一个好处。

至于通过shell脚本运行tensorflow模型，我假设如果他们在GPU上进行培训，他们也会在GPU上运行。