如何衡量预测的信心？

Question

我建立了一个预测模型并根据新的数据进行了预测。现在我想指定我对这个预测值的信心值，例如，从0到1。

1. 建立100个自举数据模型，对每个新观测数据进行100次预测，然后计算置信区间。间隔较短意味着更高的信心。计算量很大。
2. 使用oob预测每棵树中的随机森林
3. 贝叶斯方法可以通过后验给出置信区间。

还有其他的/更好的吗？

Answer 1

如果你对数据的基本分布有足够的信息，关于回归模型的经典统计理论显然是另一种选择。这些模型总是带有很好的误差估计推导。请参阅弗兰克·哈雷尔的“回归建模策略”，以获得全面的概述。

Answer 2

贝叶斯方法(例如马尔可夫链蒙特卡罗，变分贝叶斯)确实是一个很好的拟合方法，但你可以探索它们与其他方法的结合，比如贝叶斯深度学习(如这)，它可以将信息的中间表示相加起来。