学习能力:深度学习与传统(浅层)学习

Question

目前，我正在古瑟拉上一门课程，在课程中，吴家富画出了以下图片：

有人知道有什么引用/推理可以证明所绘制的图形是正确的吗？是否进行了任何实验来获得它？如果是的话，你能指给我看吗？

我已经在coursera论坛上询问过了，并给支持小组发了一封电子邮件，但没有结果。

谢谢

Answer 1

这个情节只是一个概念性的草图。它被用来传达第10页的信息“2018年机器学习渴望(草稿)-安德鲁·吴”。我查过"2016深度学习-伊恩·古德费罗等人“。而且很多开创性的论文都是关于深度学习的，没有找到一个真正的例子。

一个隐藏的假设：

这个草图的一个关键假设是模型参数的数量，如果参数数保持不变，对于深浅模型，则会出现这种情况。否则，对于任意大的训练数据(图的右侧)，只要允许参数任意增加，任何通用的学习者，就像一个只有一个隐层的神经网络(链接)一样，都能像任何深度学习者一样表现出色。

深度学习的力量：

证明深度学习的力量的文献是相当技术性的，例如本论文和本论文。要进行下去，必须首先了解一个模式的“能力”。粗略地说，一个模型的容量是它所能表示的最复杂的函数，这个概念的一个形式化就是"VC维“。理论上，如果具有m参数的浅层模型的容量为O(c)，则其深层对应的m参数跨d层的容量大致为O(c^{d})。相对于深度d，这是容量的指数增长。因此，随着训练数据的增加，深度模型的容量不能像具有相同参数的浅层模型那样快速地达到。这就是素描试图传达的意思。