如何获得预测的信心分数？

Question

在回归问题中，是否有可能对给定的模型(如XGBoost或神经网络)计算一个置信度/可靠性评分？

Answer 1

无论模型如何，您都可以使用非参数引导来构造任何参数的置信区间，包括预测(实际上是随机变量本身，但作为预期报告)。以下是一般的程序：

1. 让$N$表示您的训练数据$X$中的观察数，而$x_j$表示其预测$\hat{y}_j$的特定观察，您想要一个CI。
2. 让$K$表示一定数量的重采样迭代(对于覆盖范围$\ge 95%$的CI，必须为$\ge 20$ )
3. 对于$i$ in $K$，从$X$中抽取一个带有替换的$N$随机样本。表示此$X_i^{*}$
4. 在$X_i^{*}$上训练一个模型，并使用该模型在$x_j$上形成一个预测。调用此$\hat{y}^{*}_{ji}$
5. 从您的示例中估计$\hat{y}_j$的分布参数。$100 - \alpha$ CI由$\frac{\alpha}{2}$和$100 -\frac{2}$百分位数$\hat{y}^{*}_{j}$提供。