CNN的频道是如何处理的？它是独立加工还是融合？

Question

假设我们讨论的是二维卷积在图像上的应用。

在灰度图像中，数据是维数w \times h的矩阵，其中w是图像的宽度，h是它的高度。在彩色图像中，通常有3个通道:红色、绿色和蓝色；这样，彩色图像可以表示为维数w \times h \times c的矩阵，其中c是通道数，即3。

卷积层接收图像(w \times h \times c)作为输入，并作为输出生成维数w' \times h' \times c'的激活映射。卷积中的输入信道数为c，输出信道数为c'。

我的困惑是，如果c =2或3或4等，CNN会对数据的融合表示进行操作吗？还是一次在每个频道上运行，然后堆叠结果？假设我有4个通道，每个通道是一个2D矩阵，那么CNN内部会不会形成一个4通道的融合，并做出某种表示？

Answer 1

设n是维数w' \times h' \times c'的卷积层。然后，它的每个c'过滤器都连接到上一层的所有c过滤器(或通道*)。

我发现在这里查看权重的数量是很有帮助的:具有内核大小的n的卷积层k'\times k'的单个过滤器将具有c \times k' \times k'权重。由于层n有这些过滤器的c'，所以它有一个c \times k' \times k' \times c'权重。

在一个带有3通道输入层的玩具示例中，后面跟着一个conv。图层有5个通道，如下所示(这里没有显示简单性的偏倚)：

您可以从绘图中看到conv的每个特征映射。层接收所有输入通道作为输入(如果这不是输入层而是conv，则同样适用。图层有3张特征图)。

*请注意，上一层是否为conv并无差别。层或输入层--在第一种情况下，您将其深度称为“过滤器”，而在第二种情况下，您称其为“通道”，但这并不改变它与以下conv的连接方式。图层。