关于Hinton博士的架构(784*500*500*2000*10)

Question

最近，我在做一篇关于深度学习的文献综述。Hinton在他的论文http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf http://www.cs.toronto.edu/~hinton/science.pdf中使用了一个784*500*500*2000*10大小的网络来演示基于RBM的预训练+使用BP在MNIST数据集上进行细化，有什么具体的原因我们选择相同数量的隐藏单元(500)在随后的隐藏层和增加的数量(2000)在最后一层？一般来说，如何根据数据集为RBM选择隐藏层/单元(根据Hinton的RBM手册以外的实际经验)。

很长一段时间以来，这对我来说都是一个取笑人的问题。如果能得到答案，我将不胜感激。

Answer 1

看看硕士论文，第三章。

一般来说，在网络体系结构方面，没有严格的规则可遵循。这方面有很多经验。异常是输入层(nr )。特征= nr。和输出层(分类: nr的类别=神经元的nr )。

然而，似乎有几种趋势/经验法则：

• 对于完全连接的层，不要使用“太少”的神经元，但不要超过最后一层的3倍。
• 如果你有CNN，辍学是非常重要的。然后你可以有很多层/神经元，希望辍学可以防止过度适应。
• 自动拓扑创建：我从未见过其中任何一个经常使用。
  • 生长方法：有一些策略，比如级联相关/减数分裂网络，从一个小网络开始，并使它变得更大。
  • 剪枝方法：有一些策略，比如最优脑损伤/最佳脑外科，从一个大的网络开始，使它变得更小。
  • 遗传方法：Genetic(增强拓扑的NeuroEvolution)

​

• 瓶颈层是当你想用(去噪)自动编码器的无监督方式使用大量未标记的数据时使用的。我见过几次了。

你可能对阅读AlexNet和GoogLeNet的报纸感兴趣