我可以在CNN中使用层标准化吗？

Question

我看到层标准化是比批量标准化更现代的标准化方法，而且在Tensorflow中编码非常简单。但我认为层归一化是为RNN设计的，而批量归一化是为CNN设计的。我可以在CNN中使用层归一化来处理图像分类任务吗？选择批归一化或层的标准是什么？

Answer 1

你可以在CNN中使用Layer normalisation，但我不认为它比Batch Norm更“现代”。它们的正常化是不同的。Layer norm通过从层中的每个单元收集统计信息来归一化批处理中单个层的所有激活，而batch norm则针对每个单个激活对整个批次进行归一化，其中收集批处理中每个单个单元的统计数据。

Batch norm通常比layer norm更受欢迎，因为它试图将每个激活归一化为单位高斯分布，而layer norm试图将所有激活的“平均值”归一化为单位高斯分布。但是，如果批处理大小太小，无法收集合理的统计信息，则首选layer norm。

Answer 2

我还想补充说，正如在original paper for Layer Norm, page 10 section 6.7中提到的那样，不建议使用层规范，并且作者告诉CNN还需要做更多的研究

此外，对于RNN，Layer Norm似乎是比Batch norm更好的选择，因为在同一个小批量中，训练用例可以有不同的长度