通过神经网络运行数据的计算成本有多高？智能手机或树莓PI能做到这一点吗？

Question

我对神经网络(NN)的背景知识知之甚少。然而，据我所知，培训网络是真正昂贵的部分。归根结底，通过已经训练好的网络处理数据要便宜/快得多。

尽管如此，我还是不能完全确定处理链中最昂贵的部分是什么。据我所知，这主要是标准层的矩阵乘法。这不是最便宜的操作，但绝对可行。在顶部，还有其他层，比如每个节点上的max-pooling或激活函数，它们可能具有更高的复杂性。这些是瓶颈吗？

当然，我的意思是在设备本身进行计算，而不是将数据传输到第二台强大的机器，甚至是云，在将结果发送回智能手机之前，云进行计算。

如果是这样的话，粗略估计一下，这样的网络应该拥有的最大神经元是多少(例如，有多少层和每层有多少神经元)。最后，有没有好的项目或库，使用NNs来简化更简单的硬件？

Answer 1

当前的神经网络使用卷积层，它在输入图像上执行卷积。此外，对于低预算的硬件来说，大量的参数和维度也是一个真正的问题。但不管怎样，也有一些方法可以在安卓系统上用于较新的智能手机，比如SqueezeNet。现在很多工作实际上都是在gpus上完成的，所以我不确定它是否能在rasperry上工作。

在这里可以找到一个比我在这个主题上写的更好的描述：https://hackernoon.com/how-hbos-silicon-valley-built-not-hotdog-with-mobile-tensorflow-keras-react-native-ef03260747f3?gi=adb83ae18a85，他们实际上为手机建立了一个神经网络。如果你使用的是安卓或ios系统，你可以下载这款应用程序并在手机上试用。

Answer 2

在这一领域有很多研究正在进行。大致有两行区域来处理此问题：

针对已训练好的模型architectures

• Some 的
• 高效网络

后处理

您可以查看ICNet图1，其中显示了用于语义分割的快速推断的一些体系结构。这些模型中的许多都可以进行调整，以实时执行分类或其他图像处理任务。与其他网络相比，这些模型的参数数量都很少，并且可以在嵌入式平台上进行评估。

对于“后自组织”优化，您可以查看TensorFlows图形转换工具，它可以为您完成许多此类优化：Graph Transform Tool，或者可以查看Song Han Deep Compression的论文，其中描述了许多此类想法。宋涵在这个领域也做了很多很棒的演讲，你可以在斯坦福大学的CS231n课程上找到一个。

推理阶段的速度取决于参数或神经元的数量以外的许多其他因素。所以我不认为有一个经验法则来说明有多少个神经元是最大的。