评估精确度召回价值的ML算法的正确方法是什么？

Question

所以我知道了Precision和Recall代表什么。

精确度优化了假阳性和召回假阴性。最后，应该考虑的企业的成本目标是什么。就像医院一样，你可能想要一个具有高召回率(低假阴性率)的算法，因为错过识别恶性肿瘤的成本比必须对这些错误警报进行更多调查的成本更高。

但是，什么仍然被认为是像样的精确度/召回率指标？比如我有一个二进制分类算法，它的精度是0.34，但召回率是0.98。即使业务目标有利于优化错误否定(高召回率)，这是否可以考虑这样的算法，虽然有利于高召回率，但具有较差的精确度价值。

注意:我有一个严重的类不平衡问题，大约99%的obs为0，略低于1%的obs是1类。

​

​

Answer 1

这高度依赖于上下文，但让我们假设这个分类器在很难检测到的非常早期阶段检测到恶性肿瘤。

现在，出于分析的目的，让我们有两个具有两个不同假设的场景。

场景1:该系统将被用作对大量人的快速过滤阶段，以快速排除那些不是肿瘤嫌疑人的人

在这种情况下，这个带有.98 recall的模型很少让一个肿瘤患者在未被发现的情况下漏掉，这是该系统的主要目的，因为它只是一个快速过滤阶段，可以消除相当大一部分人口，因为下面的检查相当昂贵和耗时。

我想说这个系统在这种情况下会做得很好。

方案2:该系统将用于诊断患有肿瘤的人，这些肿瘤将直接纳入昂贵的治疗计划

在这个虚构的场景中，该系统意味着对那些被分类为肿瘤的人非常自信和精确，因为在这个阶段之后没有过滤后阶段，治疗将既昂贵又可能对那些不是抗癌人员的人造成非常有害的副作用。

在这种情况下，这个模型对于它在这个场景中所要达到的目的来说会表现得非常糟糕。

所以这完全取决于情况，在场景1中，只要召回率很高，低精度是完全可以的，当然精度越高越好，但前提是召回率不低于某个阈值。

而对于场景2，它预计会有非常高的精确度，即使召回率太低，在该场景中使用.05召回的.99精确度完全没有问题。

更新1

关于你的数据集遭受的类不平衡，这可能是对欠采样类的不好精度的直接影响，您是否尝试过使用加权损失，其中欠采样类具有更高的权重，这应该有助于在训练期间平衡类影响。

有许多可用于处理不平衡数据集的技术，您可以阅读有关它们的更多信息here