关于为什么准确率不是二进制分类问题的良好度量的论文建议

Question

作为一个初学者，我不能清楚地理解为什么推荐使用F1-score或Cohen's kappa来评估不平衡数据集的模型。

有没有人可以推荐好的论文或实际例子，解释为什么准确率不是具有不平衡数据集的二进制分类问题的良好评估指标？

提前谢谢你。

Answer 1

一个实际的例子:假设一个不平衡数据的问题，比如对欺诈性交易和非欺诈性交易进行分类。该数据集由1000万笔交易组成，其中100笔是欺诈性的。

精确度计算如下：

​

​

其中：

• 真阳性是分类器正确指示欺诈存在的情况。
• 真阴性是分类器正确指示非欺诈存在的情况。

如果我们有一个无用的分类器，它将所有的交易分类为非欺诈性的，当我们计算准确性时：

​

​

结果是99.999%，这似乎是一个非常好的准确性，尽管分类器对我们的目的完全无用。

因此，只使用准确性作为质量的衡量标准可能是一个糟糕的决定。还有必要检查其他指标，如灵敏度(也称为回忆)和特异性，或者您评论的度量(F1-score或Cohen's kappa)。

Answer 2

当你有98%的类别0(例如，良好的交易)和2%的类别1(例如，欺诈性交易)，那么当分类模型确定所有的交易都是OK时，它将获得98%的准确率。因此，完美的模型不会检测到任何欺诈性交易！这可能是现存的最简单的解释。