首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在Optuna中优化多个指标

问如何在Optuna中优化多个指标
EN

Stack Overflow用户
提问于 2021-09-06 08:44:12
回答 1查看 639关注 0票数 1

如何在Optuna的objective函数中同时优化多个指标。例如,我正在训练一个LGBM分类器,希望为所有常见的分类指标找到最佳的超参数集,如F1、精确度、召回率、准确度、AUC等。

代码语言:javascript
复制
def objective(trial):
    # Train
    gbm = lgb.train(param, dtrain)

    preds = gbm.predict(X_test)
    pred_labels = np.rint(preds)
    # Calculate metrics
    accuracy = sklearn.metrics.accuracy_score(y_test, pred_labels)
    recall = metrics.recall_score(pred_labels, y_test)
    precision = metrics.precision_score(pred_labels, y_test)
    f1 = metrics.f1_score(pred_labels, y_test, pos_label=1)

    ...

我该怎么做呢?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-09-06 08:44:12

定义网格并使用这些参数拟合模型并生成预测后,计算要优化的所有指标:

代码语言:javascript
复制
def objective(trial):
    param_grid = {"n_estimators": trial.suggest_int("n_estimators", 2000, 10000, step=200}
    clf = lgbm.LGBMClassifier(objective='binary', **param_grid)
    clf.fit(X_train, y_train)
    preds = clf.predict(X_valid)
    probs = clf.predict_proba(X_valid)
 
    # Metrics
    f1 = sklearn.metrics.f1_score(y_valid, press)
    accuracy = ...
    precision = ...
    recall = ...
    logloss = 

并按您想要的顺序返回它们:

代码语言:javascript
复制
def objective(trial):
    ...

    return f1, logloss, accuracy, precision, recall

然后,在研究对象中,指定是将每个指标最小化还是最大化为directions,如下所示:

代码语言:javascript
复制
study = optuna.create_study(directions=['maximize', 'minimize', 'maximize', 'maximize', 'maximize'])

study.optimize(objective, n_trials=100)

有关更多详细信息,请参阅文档中的Multi-objective Optimization with Optuna。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69071684

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档