什么时候一个事件太罕见，以至于预测模型不值得？

Question

背景

我为我的公司建立了一个投诉管理系统。效果很好。我感兴趣的是使用它所包含的数据来对投诉进行预测建模。我们有大约40,000名顾客，其中约有400人投诉过。

问题

我想用我们的投诉数据来模拟任何给定客户投诉的概率。我担心的是，给每个客户0.000的抱怨概率的模型已经有99%的准确性，因此很难改进。是否有可能像我描述的那样建立一个有用的预测模型，试图用如此少的数据来预测如此罕见的事件？

Answer 1

这就是为什么有替代措施，而不仅仅是准确性。

在这里，recall可能是您感兴趣的内容。为了平衡查准率与召回，F1是一种兼顾两者的流行混合物。

但通常情况下，避免试图将事物分解为单个数字。

这是一个一维结果，过于简单化了。在实践中，您将希望详细研究错误，以避免系统错误的发生。