超参数调优；ML算法的参数空间(rf，adaboost，xgboost)

Question

我试图调优几种ML算法(rf、adaboost和xgboost)的超参数，以训练一个以多类分类变量为目标的模型。我与MLR软件包在R.然而，我不确定以下几点。

要调优的超参数(以及使用默认的超参数)的

• ，
• ，调优

的超参数的空间应该是什么？

你知道我能从哪里找到这方面的信息吗？

例如；

filterParams(getParamSet("classif.randomForest"), tunable = TRUE)

给出

                    Type  len   Def   Constr Req Tunable Trafo
ntree            integer    -   500 1 to Inf   -    TRUE     -
mtry             integer    -     - 1 to Inf   -    TRUE     -
replace          logical    -  TRUE        -   -    TRUE     -
classwt    numericvector <NA>     - 0 to Inf   -    TRUE     -
cutoff     numericvector <NA>     -   0 to 1   -    TRUE     -
sampsize   integervector <NA>     - 1 to Inf   -    TRUE     -
nodesize         integer    -     1 1 to Inf   -    TRUE     -
maxnodes         integer    -     - 1 to Inf   -    TRUE     -
importance       logical    - FALSE        -   -    TRUE     -
localImp         logical    - FALSE        -   -    TRUE     -

空间；下，上，转换

params_to_tune <- makeParamSet(makeNumericParam("mtry", lower = 0, upper = 1, trafo = function(x) ceiling(x*ncol(train_x))))

Answer 1

通常，您希望调优所有标记为tunable的参数，这些参数的值范围尽可能大。在实践中，其中一些并不会对性能产生影响，但您通常不知道这一点。