卷积神经网络

Question

这种对卷积神经网络的直观理解是否正确: 1.卷积基本上匹配图像的局部部分与卷积核/滤波器的相似程度。2.核/滤波器就像一个特征检测器。重要的是，它是学习的，并通过SGD自动修改和优化。

Answer 1

对“多么相似”的粗浅理解也是如此。如果你把点积的计算看作是度量相似性，那么答案是肯定的。为什么我个人有疑问？因为它很大程度上依赖于向量(或矩阵)的范数。让我们考虑一下图像

1 1 1
2 2 2
1 1 1

和内核

1 1 1
2 2 2
1 1 1

我们把它们移交给

1 + 1 + 1 + 2*2 + 2*2 + 2*2 + 1 + 1 + 1 = 18

现在让我们来拍照

2 2 2
2 2 2
2 2 2

我们就会得到

2 + 2 + 2 + 2*2 + 2*2 + 2*2 + 2 + 2 + 2 = 24

我会说，第一张图像与内核相比，更类似于，但卷积表示的是另一种情况。因此，这并不是那么简单，卷积只是对图像进行基本的线性滤波，将信号进行卷积，将点积应用于子样本，但称之为“相似性搜索”有点过了。然而，它是一个非常特殊的特征检测器。

卷积的关键之处在于，你在描述中所缺少的是这些检测器的共享性质，事实上，学习了一堆本地图像滤波器，这些滤波器被应用到图像的每一个“点”，从而实现了一种位置不变性，并且大大降低了模型的参数。

Answer 2

你提出的解释大致是正确的，但可以从一些阐述中获益。

考虑卷积神经网络的一种方法是以分层的方式叠加位置无关的模式识别器。卷积运算通过在输入空间的每个位置施加核来影响位置无关性.

每个卷积层将识别特定的特征(这是从培训中学到的)。输出可以被认为是一个映射的特征是什么，并在哪个位置。

堆叠卷积层允许后续层识别更复杂的特性(您可以将体系结构中的每个卷积层看作是以前各层中学习的特性的组合)。

为了有效地训练这些网络，当我们接近输出分类器(在网络中从左向右移动)时，我们通常希望“漏斗”下降数据维。这通常是一种牺牲空间信息粒度的问题，通过次采样(通过池操作(通常是最大值，有时是平均值)或卷积步长(这涉及在可能的输出位置的抽取子集上对卷积输出进行评估)。

在协调中，卷积和池操作学习输入空间的非线性投影。在数学上，网络的“深”卷积部分已经学习到了一种非线性映射，从一个非常高维的输入空间(例如，图像中的RGB像素)到一个低维输出，它基本上传达了一组学习特征的关联和位置(通常是在原始空间或时间分辨率的一小部分)。

一旦我们有了这样的低维表示，这通常是扁平的，并被输入到一个“传统”完全连接的网络中，该网络能够在卷积层产生的(相对)低维抽象特征集上高效地操作分类或预测任务。

历史上，许多分类方法依赖于复杂的“特征工程”来执行类似于卷积层正在学习的操作，以便对分类器(可以是神经网络、随机森林、支持向量机或任何其他算法)进行可跟踪和有效的训练。ConvNets的强大之处在于它能够消除对特征工程的需求，将特征学习的任务与分类器的训练充分结合起来。