初始损失(iteration=0)与权重初始化的选择有很大的不同。为什么？

Question

我有大小为32x32的128个特征图。我希望将其上采样/反卷积为8x256x256，其中8是特征映射输出的数量。我使用了CAFFE中的Deconvolution层来完成这项任务。

layer {
  name: "Deconvolution1"
  type: "Deconvolution"
  bottom: "layer1"
  top: "Deconvolution1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  convolution_param {
    num_output: 8
    bias_term: false
    pad: 0
    kernel_size: 8
    stride: 8
    weight_filler {
      type: "msra"
    }
  }
}

在我的设置中，我使用weight_filter is msra，因为我从头开始训练我的网络。我也尝试过其他的滤镜，比如带有std=0.01的gaussian。结果显示在初始损失时有很大的不同。对于msra，我的初始损失是6.5，而对于高斯，我的初始损失是1.2。有什么问题吗？我在初始阶段的预期损失不到2。谢谢大家

Answer 1

最初的损失无关紧要。是的，差异随机扩散可以显着改变它。在基准拓扑(vis )中使用相同的初始过滤器，我经常看到20%的差异。AlexNet)。

问题是模型训练得有多好。如果你的损失在一两个时期内下降到预期范围，并持续总体下降趋势直到收敛，那么你就有了一个可行的方法。