如果我想使用超带或随机搜索在数据集上进行超参数优化,我注意到随机选择的一些模型似乎具有相当好的R2分数、MSE等。
然后我兴奋起来,创建了一个描述相同的神经网络,并将它训练在相同的事物、相同的时代、所有看似相同的方式等上,我得到了更糟糕的值。
这种行为有什么好的理由(例如,随机选择的权重对于最终的输出是否重要?)(如果这是真的,有什么原因可以解释为“预期的行为”?),还是完全出乎意料,我应该认为我做错了什么?(如果这是真的,会有什么原因?)
谢谢!
编辑:代码布局
#build hypermodel
class MyHyperModel(kt.HyperModel):
def build_model(self, hp): model = Sequential() ...
#do hyperband search
tuner = kt.tuners.Hyperband( MyHyperModel().build_model, objective='loss', ...)
tuner.search(x=X_train, y=y_train, epochs=...)
#get best
best_model = tuner.get_best_models(num_models=1)
#build best model and fit - same data
best_model.fit(x=X_train, y=y_train, epochs=...) 发布于 2022-06-25 14:02:10
Imho最有可能的选择是过度适应。
超参数整定是一种训练,从某种意义上说,我们试图在特定的数据集上找到给出最佳结果的值。就像任何训练过程一样,如果数据集没有足够的代表性(特别是太小),或者如果有太多可能的参数组合,就更有可能发生过度拟合。
基本上,如果一个人试图“太努力”找到最好的超参数,那么一个人更有可能得到超参数值,而这些值恰好是偶然在这个数据集上工作的。
https://datascience.stackexchange.com/questions/112106
复制相似问题