什么是kappa变量(BayesianOptimization)？

Question

我读过一些关于BayesianOptimization的文章和教程，也从未见过关于kappa变量的解释。

• kappa变量是什么？
• 它对我们有什么帮助？
• 这些值如何影响BayesianOptimization过程？

Answer 1

kappa参数与xi一起用于控制贝叶斯优化获取函数在勘探和开发之间的平衡程度。

较高的kappa值意味着更多的勘探和较少的开发，反之亦然。勘探推动了对未勘探区域的搜索，开发的重点是当前最佳结果附近的结果，对较高的方差值进行惩罚。

在优化开始时从默认的kappa值开始，如果减少搜索空间，可能会降低值。

在scikit优化中，只有当捕获函数kappa设置为“LCB”时才使用xi，当acq_func是“EI”或“PI”时才使用acq_func，其中acq_func是置信下限，EI是期望改进，PI是改进概率。

类似地，对于BayesianOptimization包：

 acq: {'ucb', 'ei', 'poi'}
            The acquisition method used.
                * 'ucb' stands for the Upper Confidence Bounds method
                * 'ei' is the Expected Improvement method
                * 'poi' is the Probability Of Improvement criterion.

获取函数的数学细节

注意，BayesianOptimization包和scikit优化分别使用不同的默认kappa值: 2.576和1.96。

有一个像样的scikit优化文档中的探索与开发实例。

有一个类似的BayesianOptimization探索与开发示例笔记本。

FWIW，我已经使用了这两个包，并得到了好的结果。在微调参数搜索空间时，我发现scikit优化绘图功能是有用的。