卷积神经元网络体系结构的确定

Question

卷积神经元网络体系结构的确定

我正在做一些关于计算机视觉深度学习的研究。

我读过很多关于神经元网络，反向传播，随机梯度下降，过度拟合，正则化等等的文章。有一些“难”的数学规则:这很容易理解。

但是，我怎么知道我的卷积神经元网络所需要的体系结构呢？我想把这些植物分类：http://www.biohof-waldegg.ch/Bilder/Blacke%201%20(Individuell).JPG

我研究了mnist数据库(手写数字数据库)的示例--为什么使用这些体系结构中的大多数示例:conv5x5 ->池(2，最大) -> Conv5x5？我已经绘制了第一个隐藏层的权重，但是图像滤波器对我来说不太熟悉(也不像用于边缘检测的高通滤波器，也不像低通滤波器)。

• 在一个层中添加更多的特征映射更好，还是添加更多的隐藏层？
• 如何确定网络是否太深/太浅
• 如何确定一个层是否有太多/太少的功能映射？
• 如何确定内核大小是否太大/太小？
• 当我选择conv -> conv ->池而不是conv ->池-> conv？
• 步长参数对影响有什么影响？(我知道这个参数的作用，但不知道何时以及如何调整这些参数？
• 是否有一种检查某一层正在检测的特征的方法？(例如边缘/颜色/形状)

Answer 1

对于如何构造神经网络(或CNN)，并没有经过验证的规则。这是一个公开的问题。

为什么使用这些体系结构中的大多数示例: Conv 5x5 ->池(2，max) -> Conv5x5

事实并非如此。大多数体系结构使用3x3池，因为随后的池层将感知域扩展到任意大小。根据经验，一些研究人员(如对计算机视觉初始结构的再思考)发现这些方法效果更好。

如何确定网络是否太深/太浅

• 推理太慢了，->网络太深了
• 精度太低->深度可能会有所帮助。

如何确定内核大小是否太大/太小？

只需使用3x3作为默认值。请参阅对计算机视觉初始结构的再思考的原因。

我什么时候选择conv -> conv -> pooling而不是conv -> pooling -> conv？

我宁愿写conv -> conv -> pooling而不是conv -> pooling，因此问题是“如何确定我应该拥有多少后续卷积层。同样，这是一个开放的问题。大多数人选择2或3个后续卷积层，但最后似乎归结为”尝试它“。(请告诉我是否有更多的工程方法！)

步长参数对影响有什么影响？

Stride减小了输出特征映射的大小。因此，它大大减少了内存占用(* 1/ your ^2)。

是否有一种检查某一层正在检测的特征的方法？

泽勒&费格斯：可视化和理解卷积网络