在GoogLeNet中，两个卷积层如何使计算二次增长？

Question

在GoogLeNet papaer中，“例如，在深度视觉网络中，如果将两个卷积层链接在一起，它们的滤波器数目的任何均匀增加都会导致计算的二次增长。”

但是，当滤波器数目增加时，我不知道如何可能出现二次增长。

Answer 1

对于任何带有n过滤器和内核大小K_n^{height},K_n^{width}的CNN层，要训练的参数数是F_{n-1} \cdot F_n \cdot K_n^{height} \cdot K_n^{width} + F_n。

其中，第一个求和表示权重，第二个表示偏置参数(如果n是第一个CNN层，则F_{n-1}等于输入信道数)。在特殊情况下

• F_{n-1} = F_n (即对于层n和层n-1的相同数量的过滤器)
• 和K_n^{height} = K_n^{width} (即方形内核)

层n的参数数为F_n^2 \cdot K_n^2 + F_n。因此，对于过滤器的数量，您有一个可训练参数的非线性依赖性。