在tf.layers.batch_normalization(training=?)中使用和不使用training=True有什么区别？

Question

最近，我做了一个关于使用：tf.layers.batch_normalization(input, training=True)和using tf.layers.batch_normalization(input)的实验，这两种情况都处于训练阶段。

但是发生了一些奇怪的事情。如果我使用：tf.layers.batch_normalization(input, training=True)，tf.summary创建的tfevent file大约是400MB，但是如果我使用tf.layers.batch_normalization(input)，这个文件只有20MB，我不能理解其中的原因。

Answer 1

正如所解释的那样，在训练verus测试时间期间，here批量规范化具有不同的行为：

在测试阶段，您可以根据小批量统计信息归一化层激活，而在测试阶段，您可以根据估计的总体统计信息进行归一化。

此行为由training参数控制，如TensorFlow's documentation中所述。

因此，在测试期间，存储的信息很少。但是，您不应该将其设置为用于培训目的。

希望这能有所帮助！