CNN和任意多层神经网络的概念问题(下)

Question

我读过许多教程和在线讲座(https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/)，但都没有提到选择特定设计的理由。我们如何决定下列设计方面？

1)是否有决定层数的经验法则？还是纯粹基于试验和错误？

2)请有人解释一下这个例子设计CNN架构的直觉和原理--考虑一个二进制分类问题。对于大小为500*500*3的输入RGB图像，您将如何设计体系结构？？有多少层，多少过滤器，过滤器的大小，步幅是多少等等。

Answer 1

有一本很棒的书，叫做“用Python进行深度学习”，你可以参考弗朗索瓦·乔莱特的作品。回答你的问题：

1. 您通常添加大量的层，并检查验证的准确性、停止和培训损失迅速下降的地方。这意味着您的网络开始过度适应，并且很容易在正则化的帮助下对您的网络进行微调。
2. 您将根据问题的复杂性和图像的分辨率来确定网络的各个层。更大的图片需要更大的网络。在理想的网络中，滤波器需要随着网络的增加而增大，特征映射的大小应该减小。不过，我对跨步不太了解。Max_Pooling是最常见的解决方案，而不是大步。

我可以继续谈论Max_Pooling，但这不能回答你的问题。

Answer 2

我知道现在发布答案可能为时已晚，但仍然会回答这个问题，这样可能会帮助一些人发现这个问题。

实际上，从零开始设计一个特定的体系结构可能非常困难，因为我们可能需要从验证集中学习大量的超参数，更不用说训练许多深层次模型所需的计算资源了(在最坏的情况下，每个超参数组合都需要一个)。

对于你的情况，一般的解决办法是进行转移学习，它以预先训练过的计算机视觉任务模型的形式出现。由于为一个任务在图像上学习到的过滤器通常可以非常成功地应用于另一个任务中的图像，以便进行特征提取，因此这些经过预先训练的模型是解决方案。在此之后，您可以为手头的任务执行一定量的微调，如果有必要，还可以从这一点开始对体系结构进行一些更改。这些完善的架构至少可以作为您设计的起点。您还可以深入研究提出这些体系结构的论文，以获得关于为什么采用不同的体系结构选择的基本直觉，如果有必要，可以以合理的方式结合这些选择来设计新的体系结构。

您可以查看这个文章，以供进一步参考。