我如何评估两个分类，其中一个进一步分类的前一个类别？

Question

我正在训练分类器(如动物)，由于许多类别太相似(例如昆虫)，所以我将某些类别(例如昆虫和蚊虫)组合在一起。然后，我将训练一个分类器来区分不同的昆虫。

我怎样才能一起评价这两者的表现呢？

假设第一级是['cat', 'dog', 'insects']，精确度为90%

第二级是['mosquito', 'bug']，精度达80%。

总的准确性是多少？

Answer 1

首先要注意的是，如果类之间存在某种不平衡，准确性并不是很好的性能度量。微观或宏观F1-得分是更多的信息。

任何总体性能度量都可以通过获取完整的实例集来获得，只考虑每个实例的最终预测标签与真正的标签。由此可以用通常的方法得到一个混淆矩阵。中间水平(例如“昆虫”)并不重要。在精确性的情况下，您只需计算每个实例的真实标签是否与最终预测的标签相同。