预测概率的分布严重偏斜。

Question

我是这里的初学者。我只是尝试使用xgboost方法来解决分类学习问题。我的数据是70-30不平衡。但我遇到了一个问题，就是预测概率的分布在下面的图片中被严重扭曲。我需要一个解决这个问题的建议。

Answer 1

让我们用一个例子来思考这个问题。假设你试图预测欺诈信用卡交易。由于真正的交易比欺诈交易更频繁(假设1%的交易是欺诈性的)，随机选择的交易成为欺诈的可能性将是很小的，对吗？

现在，假设我们有一组10000个交易，我们有方法计算每一个交易中的欺诈概率。如果我们计算概率并绘制这些概率的密度图，我们将观察到一个非常偏斜的分布(许多事务都有很小的欺诈概率)。

这就是你的例子。您的模型正在估计可能很少见的事件的概率(我从您观察到的数据集不平衡( 70/30)中得出了这一点)。因此，您不需要“修复”您的发行版。

虽然，如果你用这个概率作为一个分数，例如，它可能更容易工作，一个较少的偏斜分布。在这种情况下，可以将一些单调变换应用于您的概率。这种类型的转换将改变变量(从模型中估计的概率)的分布，而不需要排序，例如，如果一个服务A的概率小于一个观察B，则转换后的分数将影响这个A