为什么在XGBRegressor中使用优化参数(MSE是最小化目标)与优化的RMSE给出不同的RMSE？

Question

我在处理一个回归者问题。我现在正在优化XGBRegressor模型的参数，所以我使用库GPyOpt来获得优化的参数。函数返回一个由5个元素组成的数组和最小化的MSE ( 1813 )。然后尝试将优化的参数输入到模型中，然后模型的MSE返回2810。我想知道为什么会这样？

我真的很熟悉图书馆的GPyOpt。关于这个问题，我所面临的信息不多，所以我想知道是因为我的粗心错误，还是有些事情我不明白？

import GPyOpt
from GPyOpt.methods import BayesianOptimization
def cv_score(parameters):
    parameters = parameters[0]
    score = cross_val_score(
                XGBRegressor(learning_rate=parameters[0],
                              gamma=int(parameters[1]),
                              max_depth=int(parameters[2]),
                              n_estimators=int(parameters[3]),
                              min_child_weight = parameters[4]), 
                x_train, y_train, scoring='neg_mean_squared_error').mean()
    score = np.array(score)
    return score

bds = [{'name': 'learning_rate', 'type': 'continuous', 'domain': (0, 1)},
        {'name': 'gamma', 'type': 'continuous', 'domain': (0, 5)},
        {'name': 'max_depth', 'type': 'discrete', 'domain': (1, 50)},
        {'name': 'n_estimators', 'type': 'discrete', 'domain': (1, 300)},
        {'name': 'min_child_weight', 'type': 'discrete', 'domain': (1, 10)}]


optimizer = BayesianOptimization(f=cv_score, domain=bds,
                                 model_type='GP',
                                 acquisition_type ='EI',
                                 acquisition_jitter = 0.05,
                                 exact_feval=True, 
                                 maximize=True)
optimizer.run_optimization(max_iter=20)

optimizer.x_opt

数组( 0.56133897，2.697656，50 )。、300。、10. )

xgb_final_param = {'learning_rate': 0.56133897, 'gamma': 2.697656, 'max_depth': 50, 'n_estimators': 300, 'min_child_weight': 10}
xgb_final = SklearnExtra(clf = XGBRegressor(), seed = Seed, params = xgb_final_param)
xgb_final.fit(x_train, y_train)
evaluate(xgb_final, x_test, y_test) #evaluate returns MSE

我预计MSE大约在1813年左右，但我得到2810。所以我想知道为什么

Answer 1

gpyopt中的离散变量不是由它们的min/max指定的，而是由它们的整个值列表指定的。为什么？因为您可能有不连续性，也就是说您的变量可能只使用(1, 3, 8)值。看看它的一个例子，这里。

因此，在您的示例中，正确指定这些值的域的方法是生成所有可能值的列表：

{'name': 'max_depth', 'type': 'discrete', 'domain': list(range(1, 51))}

其他离散变量也是如此。注意，对于连续的代码，您的代码是可以的--它们是由它们的范围指定的。