使用lightgbm的GridSearchCV要求不使用fit()方法吗？

Question

我正在尝试使用sklearn在LightGBM估计器上执行GridSearchCV，但在构建搜索时遇到了问题。

我要构建的代码如下所示：

d_train = lgb.Dataset(X_train, label=y_train)
params = {}
params['learning_rate'] = 0.003
params['boosting_type'] = 'gbdt'
params['objective'] = 'binary'
params['metric'] = 'binary_logloss'
params['sub_feature'] = 0.5
params['num_leaves'] = 10
params['min_data'] = 50
params['max_depth'] = 10

clf = lgb.train(params, d_train, 100)

param_grid = {
    'num_leaves': [10, 31, 127],
    'boosting_type': ['gbdt', 'rf'],
    'learning rate': [0.1, 0.001, 0.003]
    }


gsearch = GridSearchCV(estimator=clf, param_grid=param_grid)
lgb_model = gsearch.fit(X=train, y=y)

然而，我遇到了以下错误：

TypeError: estimator should be an estimator implementing 'fit' method, 
          <lightgbm.basic.Booster object at 0x0000014C55CA2880> was passed

但是，LightGBM是使用train()方法而不是fit()进行训练的，因此这种网格搜索是否不可用？

谢谢

Answer 1

您正在使用的lgb对象不支持scikit-learn接口。这就是为什么你不能以这种方式使用它。

但是，lightgbm包提供了与scikit-learn应用编程接口兼容的类。根据您试图完成的监督学习任务，分类或回归，使用LGBMClassifier或LGBMRegressor。以下是分类任务的示例：

from lightgbm import LGBMClassifier
from sklearn.model_selection import GridSearchCV


clf = LGBMClassifier()
param_grid = {
    'num_leaves': [10, 31, 127],
    'boosting_type': ['gbdt', 'rf'],
    'learning rate': [0.1, 0.001, 0.003]
}

gsearch = GridSearchCV(estimator=clf, param_grid=param_grid)
gsearch.fit(X_train, y_train)