批量规范化而不是输入规范化

Question

是否可以在输入层之后使用批处理规范化层，而不对数据进行规范化？我是否可以期望得到类似的效果/表现？

在keras功能中，它应该是这样的：

x = Input (...)
x = Batchnorm(...)(x)
...

Answer 1

你可以的。但是，除了激活分布稳定外，批范数的好处是，随着网络的学习，均值和std偏差可能会迁移。

实际上，在输入层之后设置批处理规范是一个奇特的数据预处理步骤。它有帮助，有时非常有用(例如线性回归)。但是，一次计算整个训练样本的均值和方差比每批学习更容易，也更有效。请注意，批处理规范在性能方面不是免费的，您不应该滥用它。