微观度量与宏观度量

Question

为了检验我的多标签分类模型的结果，我测量了精度、回忆和F1分数。我想比较两种不同的结果，Macro。我有一个只有几行的数据集，但标签计数在1700左右。为什么宏如此之低，即使我在微观上得到了很高的结果，当它是一个多类的时候，哪一个会更有用呢？

Accuracy: 0.743999 

Micro Precision: 0.743999
Macro Precision: 0.256570 

Micro Recall: 0.743999
Macro Recall: 0.264402 

Micro F1 score: 0.743999
Macro F1 score: 0.250033 

Cohens kappa: 0.739876

Answer 1

微平均

从模型的真阳性(TPs)、真阴性(TNs)、假阳性(FPs)和假阴性(FNs)计算出微观平均查全率和召回分数。

宏观平均

将宏观平均查全率和召回分数计算为个别班级的查全率和召回分数的算术均值。宏观平均F1分数计算为个别班级F1分数的算术平均值。

什么时候使用微观平均和宏观平均分数？

• 当需要对每个实例或预测进行同等权衡时，请使用micro-averaging评分。
• 当所有类都需要被同等对待时，使用macro-averaging评分来评估分类器对最频繁的类标签的总体性能。
• 在发生类不平衡时使用加权宏平均评分(与不同类别标签相关的不同实例)。计算平均值时，加权宏平均是通过将每个类标签的分数加权于真实实例数来计算的。
• 当您想知道系统如何在所有数据集中执行时，可以使用宏平均方法。你不应该用这个平均数做出任何具体的决定。另一方面，当数据集的大小发生变化时，微平均值可能是一种有用的度量。

多级分类的微观平均和宏观平均精度分数

对于多类分类问题，micro-average精度分数可以定义为所有类的真正和除以所有的正预测。正预测是所有真阳性和假阳性之和。

多级分类的微观平均和宏观平均回忆分数

对于多类分类问题，micro-average召回分数可以定义为所有类的真正和除以实际正项(而不是预测的正项)。

参考资料：

• 精确、回忆和F分的微观和宏观平均水平
• 宏与微VS加权VS样本F1评分
• 多类分类设置下的微观平均与宏观平均性能