批规范化与其他规范化技术

Question

在神经网络的背景下，我理解批量归一化确保神经网络每一层的激活不会“爆炸”，并导致网络中的偏差。但是，我不明白为什么要使用它来代替其他的标准化技术，例如余弦或权值规范化，这些技术实现了相同的目标，而且在计算上似乎不太复杂。

请有人向我解释一下，与其他标准化技术相比，使用批处理规范的优缺点，以及哪种上下文批处理规范最有益处？

Answer 1

余弦正规化是在神经网络中用余弦相似或中心余弦相似代替点积(即神经网络中的准基石)，从而减小方差的结果。

余弦正规化的主要好处是余弦归一化限制了神经元在较窄范围内的预激活，从而降低了神经元的方差。

另外，它不依赖于批处理或小批处理示例的任何统计数据，并且在训练和推理时间执行相同的前向传播计算。在卷积网络中，它规范了来自接收域的神经元，而不是同一层或批大小。

看看这个纸，它显示了你提到的正常化之间的移民比较。C.N.在上面。