BayesSearchCV超参数依赖关系

Question

我使用BayesSearchCV是为了通过贝叶斯优化找到最好的HyperParameters。使用BayesSearchCV的语法如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
{
    "penalty": Categorical(['l1', 'l2', 'elasticnet', 'none']),
    "solver": Categorical(['lbfgs', 'newton-cg', 'liblinear', 'sag', 'saga']),
    "fit_intercept": Categorical([True, False])
}


bayes_search = BayesSearchCV(clas_model, search_space, n_iter=12, scoring="accuracy", n_jobs=-1, cv=5)
bayes_search.fit(X, y.values.ravel(), callback=on_step)
predictions_al = cross_val_predict(bayes_search, X, y.values.ravel(), cv=folds)

在这种情况下，求解器“newton-cg”不接受惩罚“L1”，因此超参数之间存在依赖关系。有什么方法可以用这个库来配置吗？

Answer 1

通过查看其他库，如GridCV或RandomCV，我意识到我们可以在一个数组中提供不同的search_spaces，虽然这在BayssianCV中没有文档，但在其他库中有一些快速示例，但没有详细说明。

最后，由于求解器、惩罚和其他参数(此处描述为https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html)之间的高度依赖性，语法应如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
  [
   {
    "solver": Categorical(['liblinear']),
    "penalty": Categorical(['l1', 'l2']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['lbfgs', 'newton-cg', 'sag']),
    "penalty": Categorical(['l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['l1', 'l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['elasticnet']),
    "fit_intercept": Categorical([True, False]),
    "l1_ratio": Real(0, 1, prior='uniform'),
    #"warm_start": Categorical([True, False])
   },
  ]

牛顿-cg、sag和lbfgs求解器仅支持具有原始公式的L2正则化，或者不支持正则化。“liblinear”求解器同时支持L1和L2正则化，仅针对L2惩罚使用双重公式。弹性网络正则化仅受“saga”求解器支持。