当一种错误优于另一种错误时，应该如何衡量多类分类器的性能？

Question

如果这个问题之前有人问过，很抱歉--我找这个话题有困难，因为我不确定我的措辞。

假设你有一个分类问题，有两个以上的标签是离散的，但大致对应于一些质量的增加--把这些标签称为A，B和C。在这个问题中，也可以说，高估质量，而不是低估质量。是否有一种度量能够捕捉到这种偏斜，并在实际B上惩罚预测的A，而不是惩罚实际B上的预测C？还是这种偏好在数据科学方法论的不同部分得到了更好的处理？

Answer 1

定义这样的计分表(您需要调整这个表以满足特定的用例。我只是以它为例)。

Pred   | True Label
Label  | A    B   C  
-------+--------------
A      |  0  -1  -2
B      | -3   0  -1
C      | -4  -3   0

注意，这个打分表比低估表具有偏袒高估的性质.

将得分表与预测数相乘(按元素计算)，然后将分数相加，得到一个具有所需属性的度量标准。

Answer 2

您正在寻找的是非对称损失函数。也就是说，一个错误函数在一边比另一边增长得更快。这一问题已被这里治疗为回归。这可能是开始你的研究的好地方。