TensorFlow推理(服务)，CPU够用吗？

Question

通常，在我训练完模型后，我会使用相同的GPU来完成。

但是，如果我想在线作为服务提供GPU实例，我们还需要GPU实例进行推断吗？或者一个CPU实例就足够了吗？

谢谢。

Answer 1

导出模型时，该设备将被清除。下面是此功能的单元测试：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/saved_model/saved_model_test.py#L564

从评论中复制: GPU在处理大批量时速度很快。当对单个输入进行推理时，CPU的速度足够快。