Tensorflow在每个时期结束时都会停滞几秒钟

Question

我正在通过TFRecordDataset训练神经网络。然而，在每个时期结束时，即使用ETA: 0s，训练会停滞数十秒。作为参考，在大约25 of的数据集上(在解析特征的子集之前)，一个时期大约需要一分钟。

我使用Nvidia Titan RTX图形处理器运行TensorFlow 2.3.1。这是预期的行为吗？也许是由于输入管道中的预处理？预处理是仅由CPU执行还是将其分流到GPU？谢谢!

Answer 1

如果您有一个验证集，并且您正在使用model.fit()，那么这可能是计算损失和指标所花费的时间。在大多数情况下，应该额外花费25%来计算80/20拆分的指标。