当只有2个ConvLayer和一个小数据集时，BatchNormalization和ELU？

Question

我想用一个只有500张图片的小数据集来训练CNN。我想知道是不是只有当CNN的ConvLayer比只有2个多的时候才推荐BatchNormalization？

BatchNormalization的目标应该是对抗垂死的梯度问题。而且，只有当CNN有超过2个ConvLayers时，才有可能出现死亡梯度，对吧？当网络更大时，ELU也应该是同样的原因，对吗？

你有什么经验？我希望得到任何提示，因为这个案子非常重要。

Answer 1

批处理归一化与死亡梯度无关--这是激活函数的工作。批量归一化提高了网络学习的速度和稳定性。

通常，无论您的网络规模是多少，您都希望同时使用BN和RELU。