普拉特的分级用于多类分类？

Question

如何对普拉特的分级进行多类分类？例如，如果我的DNN的最后一层是一个带有10个类的软最大激活，那么platt的缩放到底是如何工作的？

我是否训练多个逻辑回归使用一个-vs-多分类？还是有更好的方法？

Answer 1

有几个普拉特缩放的多类变体。最简单的方法是，正如您所描述的，只需对每个类执行一个Platt缩放。

然而，还有更复杂的选项--一个非常简单的实现方法是在逻辑(应用softmax激活之前的值)上训练一个标准的逻辑回归。这叫做矩阵缩放，可以非常容易地适应，所以只有当你有一个很大的校准集时才使用这个。或者，一个称为向量缩放的较少参数版本的实现相对简单，其中logistic回归中的权重矩阵被限制为对角矩阵。最后，一个被证明对神经网络很有效的非常简单的选项是温度缩放，其中所有的逻辑都被一个标量参数简单地缩放。

你可以在“现代神经网络的校准”(2017年)第4.2节中更多地了解这些信息及其在神经网络中的应用-可获得的这里