任何前馈神经网络都是可组合的函数吗？

Question

我想知道每个前馈神经网络是否可以写成一个层函数的组合。

因此，如果F(x)是神经网络F的输出，则始终存在层函数f_1、.、f_n与

F(x)

= (f_1 o . )O f_n)(x)？这里"o“表示构图符号。

如果网络仅由每一层连接到前一层的层组成，这是显而易见的。然而，情况并不总是如此，例如，如果您有跳过的连接。

那么，“凹”层和“和”层又如何呢？

那么，如果对于某些层函数F(x) = G_1(x) + G_2(x)或F(x) = [H_1(x), H_2(x)] -- G_1、G_2、H_1、H_2 --怎么办？F还能写成作文吗？

Answer 1

如果你认为矩阵增强本身是一个多元函数，你可以写h\circ [g\circ f\ |\ f]。

但是，为了避免迂腐的争论，您可以使用多元函数组合 (尽管它更丑)。

为列向量定义一个多变量级联函数：

c(\vec{x_1},\vec{x_2},...,\vec{x_n})=\left[ \begin{matrix} \vec{x_1} \\ \vec{x_2} \\ \vdots \\ \vec{x_n} \end{matrix} \right]

在具有跳过连接f\rightarrow g\rightarrow h的网络f\rightarrow h中，您可以编写：h\circ c|_{g\circ f,f}。