模型损失权重

Question

我已经建立了两个输出层，年龄和性别预测层。我想为每个输出层的损失分配不同的权重值。下面的代码行可以这样做。

model.compile(loss=[losses.mean_squared_error,losses.categorical_crossentropy], optimizer='sgd',loss_weights=[1,10])

我的问题是，损失权重对模型性能的影响是什么？如何配置损失权重，使模型能够更好地进行年龄预测？

Answer 1

这将影响每个这些输出的反向传播将如何导致网络中的中间节点被更新。如果输出节点的误差相等，则中间节点的梯度下降过程将同样有利于这些输出的结果误差。通过对输出节点进行更重的加权，这意味着梯度下降将有利于在该输出节点上表现更好的一组参数。