基于损失的超参数整定神经网络

Question

在超参数整定过程中，我们选择一个度量来衡量模型的性能。标准的例子: f1评分，精确，回忆，AUC .

一般情况下，对于神经网络的训练，反向传播会根据损失函数的值来优化模型的权重。

接下来的问题是:为什么人们不使用损失函数作为神经网络优化的主要性能指标？

Answer 1

例如，如果您查看L2丢失函数：

\sum (y - \hat{y})²

它考虑到预测值与实际值有多大的不同。请注意，由于误差的平方，L2对异常值很敏感。所以，正如你所看到的，它考虑到了我们的预测有多远。

这正是问题所在:大多数时候，我们并不关心我们的预测离真实的距离有多远。

想象一个真实的应用程序，其中模型预测一个图像标签。应用程序不会向您提供n示例及其概率。它只会以最高的概率输出图像。

这意味着，对于一个分类问题，当我们使用softmax和交叉熵损失时，如果一个类的预测概率是0.49或0.01，那就不重要了。我们只关心我们的模型是否正确。

而且，精确性要明显得多，更便于解释。这就是为什么精确性被更频繁地使用的原因。