深度学习技术(DNN，DBN，...)有多快？在实践中？

Question

深度学习技术(深度神经网络、深度信念网络、深度堆叠网络等)在某些领域非常有效。他们需要很长的时间来训练，但这只是一次成本。

我读了几篇关于不同技术的论文，它们只关注准确性和训练它们的时间。一旦经过训练，他们在实践中产生答案的速度有多快？

对于可能有数百万个参数的深度网络，是否有一些基准测试数据可用？

我认为它们相当快，因为所有的权重都是固定的，但由于函数可能相当复杂，参数的数量也很多，我不确定它们在实践中是如何执行的。

Answer 1

速度在很大程度上取决于网络规模。假设您的网络是密集前馈网络，网络的每一层都由一个(通常是非常矩形的)矩阵表示。通过网络推送输入需要矩阵向量积。因此，如果你有一个有8层的网络，它将需要8个矩阵产品。其中每一个花费的时间取决于数据集的原始维度和所述层的大小。