实例标准化与批量标准化

Question

我理解批量归一化通过将激活转向单位高斯分布来帮助更快的训练，从而解决消失梯度问题。批量规范acts在训练(使用每批的均值/var)和测试时间(使用训练阶段的最终运行均值/var)上的应用是不同的。

另一方面，实例标准化作为本文https://arxiv.org/abs/1607.08022中提到的对比度标准化。作者提到，输出的风格化图像不应该依赖于输入内容图像的对比度，因此实例标准化会有所帮助。

但是，我们不应该也使用实例归一化来进行图像分类，其中类别标签不应该依赖于输入图像的对比度。我还没有看到任何使用实例标准化代替批次标准化进行分类的论文。这是什么原因呢？此外，批处理和实例规范化可以也应该一起使用。我渴望对何时使用哪种规范化有一个直观的和理论上的理解。

Answer 1

问得很好，而且已经回答得很好了。补充一下:我发现开明他的Group Norm论文中的可视化很有帮助。

​

来源：link to article on Medium contrasting the Norms

Answer 2

我想在这个问题上添加更多的信息，因为在这个领域有一些更新的工作。你的直觉

使用实例归一化进行图像分类，其中类别标签不应依赖于输入图像的对比度

有一部分是正确的。我要说的是，一头猪在光天化日之下仍然是一头猪，而图像是在晚上或黎明拍摄的。然而，这并不意味着在整个网络中使用实例标准化会给您带来更好的结果。以下是一些原因：

1. 颜色分布仍然扮演着重要角色。如果它有很多红色，那么它更有可能是苹果而不是橙子。
2. 在后面的层中，你不能再想象实例规格化作为对比度规格化。类特定的细节将出现在更深的层中，通过实例对它们进行标准化将极大地损害模型的性能。

IBN-Net在他们的模型中同时使用了批处理标准化和实例标准化。它们只将实例标准化放在早期层，并且在准确性和泛化能力方面都取得了改进。他们有开源的代码here。

​

​

Answer 3

在提供视觉和外观不变性和BN时，加速训练并保留可辨别特征。IN在浅层( CNN的起始层)是首选的，因此去除外观变化和BN在深层(最后的CNN层)是首选的，以保持区分度。