超参数整定的鲁棒性

Question

我使用贝叶斯超参数(HP)优化方法(BOHB)来优化一个深度学习模型。但是，当对相同的数据重复应用时，生成的模型是不可靠的。我知道，我可以使用种子来修复参数初始化，但我不知道是否有HP优化方法已经考虑到了健壮性。

为了说明这个问题，让我们考虑一个只有一个HP的单层神经网络:隐藏的大小(h)。当h较小时时，模型的性能较好，当h较大时，结果开始波动较大，这可能是由于损失情况更加复杂；参数的随机初始化可能导致较好的性能，或者如果优化器陷入局部极小值(由于复杂的损失情况而发生的情况更多)，则会导致性能非常差。损失的情节可能是这样的：

我更喜欢“健壮的解决方案”，而“最佳解决方案”是由HP优化算法选择的。是否有HP优化算法来解释健壮性？或者你会怎么处理这个问题？

Answer 1

据我所知，贝叶斯优化方法对于这个问题已经有了一定的鲁棒性。评估的性能函数通常是(？)考虑到噪音，搜索会想要检查附近的“最佳解决方案”h，以提高确定性；如果它发现了许多表现不佳的模型，它的代理函数应该开始淡化这一点。(例如，参见这些 二博客文章。)

如果由于随机效应而导致的不稳定性很大(例如，你提到的权值的初始化)，那么只需重复模型拟合并取一个平均(或最坏的，或某些百分位数)的性能就可以了。如果这确实是“相邻”h值的影响，那么您可以类似地拟合所选h附近的模型，并考虑它们的聚合性能。当然，这两种方法都会增加相当多的计算开销；但我认为这可能是最接近“正确”的解决方案，而不依赖于优化算法的内部。

Answer 2

一种方法不是测量超参数在训练数据损失函数上的性能，而是在验证数据的高程度量上测量超参数的性能。大多数机器学习系统的最终目标是对未见数据进行预测。将注意力集中在“最佳解决方案”上，即以损失函数衡量的培训，将导致过度拟合/非稳健的解决方案。