h2o.ai标度标定

Question

我注意到在h2o.ai套件中增加了一个相对较重的部分，即执行辅助Platt以改进输出概率校准的能力。(见在h2o手册中.)然而，在在线帮助文档上，很少有指导是可以获得的。我特别想知道，何时启用Platt缩放：

• 它对模特的领导板有什么影响？也就是说，普拉特标度是在排名度量之后还是在此之前计算的？
• 它如何影响计算性能？
• calibration_frame是否可以与validation_frame相同，或者不应该(在计算或理论观点下)？

提前感谢

Answer 1

校准是在模型完成后运行的后处理步骤.因此，它不影响主板，对训练指标也没有影响。它增加了2列的得分框架(与校准的预测)。

这篇文章提供了如何构造校准框架的指导：

1. 将数据集拆分为测试和训练
2. 将列车组划分为模型训练和校准。

它还说:最重要的一步是创建一个单独的数据集来执行校准。

我认为校准框架应该只用于校准，因此与验证框架不同。保守的答案是，它们应该是分开的--当您使用验证框架进行早期停止或任何内部模型优化(例如，H2O GLM中的lambda搜索)时，验证框架将成为“培训数据”的扩展，因此在这一点上是不允许的。但是，您可以尝试这两个版本并直接观察其效果，然后作出决定。以下是本文中的一些其他指导：

“用于校准的数据数量将取决于你拥有的数据量。校准模型一般只会拟合少量的参数(所以你不需要大量数据)。我的目标是大约10%的培训数据，但至少要有50个例子。”