任意拓扑的神经网络计算

Question

在一些ppt演讲中读到了关于神经进化的文章，我偶然发现了一个短语：

网络输出按标准方式计算。

我成功地实现了一种简单的前馈机制，遵循了一些指南(使用权值的向量表示- 1、2、3.)，并且我或多或少地理解了如何计算递归网络。

我所找不到的是如何计算任意拓扑的神经网络。有什么“标准方法”(算法)吗？

我设想一种方法(假设前馈拓扑)，虽然非常耗时，但它会循环所有神经元，直到计算出输出。

我设想另一种方法可能是将任意拓扑组织成层(也假设前馈拓扑- 这?)，然后计算它。

问题

计算任意拓扑网络输出的“标准方法”是什么?/如何计算任意拓扑网络输出？

假设

1. 前馈拓扑(递归拓扑作为奖励，可能要复杂得多)。
2. 存在偏置节点。

PS。我正在与Python一起工作，下面是一篇简洁的论文。

Answer 1

神经网络不可能有真正的任意拓扑，有一定的限制：

• 拓扑必须是(可还原到) (DAG)。您可能会问RNN是否与此要求相矛盾:它们没有，因为每个RNN都可以是展开成DAG。有其他案件，当循环可以在网络中模拟，但它的执行方式，网络总是可以表示为一个DAG和反向传播是有限的。
• 图形必须有专用的输入和输出节点，这样任何输入都不能依赖于输出。输入节点通常提供培训数据。
• 还有其他限制，例如激活函数必须是可微的。

现在您可以注意到，这些网络非常类似于前馈:向前传递从输入到输出运行，向后传递向相反的方向运行。这是可能的，因为DAG可以是排序拓扑。实际上，拓扑排序仅仅是用前馈方式表示一个图.

至于循环仿真，迭代次数总是有限的，因为内存是有限的。网络实际上是一个DAG，有输入、输出和一些重复的模式，这也可以看作是前馈。

概括地说:对于所有的网络(如果你喜欢的话，这是标准的)，用于简单神经网络的机制是相同的，但是网络表示有时看起来是不同的。