如何计算GoogLe网的参数个数？

Question

我对AlexNet和VGG有很好的理解。我可以用各自论文中提交的内容来验证每一层中使用的参数数量。

然而，当我尝试在GoogleNet论文“用COnvolution走得更深”上做同样的事情时，即使经过多次迭代，我也无法验证他们论文的“表1”中的数字。

例如，第一层是核大小(7x7)、输入贴图数为3、输出贴图数为64的良好的旧平面卷积层。因此，基于这一事实，所需的参数数量将是(3 * 49 * 64) + 64 (偏置)，这大约是9.5k，但他们说他们使用2.7k。我也为其他层做了计算，我总是比他们报告的误差几个百分点。有什么想法吗？

谢谢

Answer 1

我认为第一行(2.7k)是错误的，但表中其余行是正确的。

下面是我的计算结果：http://i.stack.imgur.com/4bDo9.jpg

​

​

注意检查哪个输入连接到哪一层，例如，对于层"inception_3a/5x5_reduce"：

 input = "pool2/3x3_s2" with 192 channels
 dims_kernel = C*S*S =192x1x1
 num_kernel = 16 

因此，该层参数大小= 16*192*1*1 = 3072

Answer 2

看起来他们将数字除以1024^n，以转换为表1中参数数量的K/M标签。这感觉是错误的。我们在这里讨论的不是实际的存储数量(如“字节”)，而是直接的参数数量。它们应该只除以1000^n。

Answer 3

可能7*7卷积层实际上是7*1卷积层和1*7卷积层的组合，那么参数的个数可以是：((7+7)*64*3 + 64*2) / 2014 = 2.75k，接近2.7k (或者可以省略128个偏置)。

正如我们所知，Google在做空间分解时引入了非对称卷积，在论文《空间分解成非对称卷积》中