卷积自动编码器:黑色特征映射

Question

我正在使用卷积自动编码器。我的自动编码器配置有一个卷积层，具有stride (2,2)或avg-pooling和relu激活，以及一个解卷积层，具有stride (2,2)或avg-unpooling和relu激活。

我用MNIST数据集训练了自动编码器。

当我查看第一个卷积层(20个滤波器，滤波器大小为3)之后的特征图时，我得到了一些黑色的特征图，而学习到的滤波器不是黑色的。如果我更改筛选器的数量或筛选器大小，也会发生同样的情况。

我用TensorFlow和Theano自动编码器得到了这种现象。(我还没有测试其他神经网络软件。)

有人知道为什么会这样吗？

在添加LRN层时，我可以避免黑色特征映射，但我想了解为什么会出现黑色特征映射。

Answer 1

我发现了同样的现象。在训练了一个具有7x7x3x6的卷积自动编码器后，对于数千个RGB图像，两个或三个滤波器有一些输出，其他滤波器得到零输出。并且当它们具有太多的零输出滤波器时，误差不会减小。我也改变了过滤器的数量和大小，但结果几乎是一样的。