如何在R中衡量mlr3模型的性能？

Question

我想知道如何衡量mlr3模型的预测性能(使用测试数据集)？例如，如果我使用mlr3创建一个knn模型，如下所示：

library("mlr3")
library("mlr3learners")
 
# get data and split into training and test
aq <- na.omit(airquality)
train <- sample(nrow(aq), round(.7*nrow(aq))) # split 70-30
aqTrain <- aq[train, ]
aqTest <- aq[-train, ]


# create model
aqT <- TaskRegr$new(id = "knn", backend = aqTrain, target = "Ozone")
aqL <- lrn("regr.kknn")
aqMod <- aqL$train(aqT)

我可以像这样测量模型预测的均方误差：

prediction <- aqL$predict(aqT)
measure <- msr("regr.mse")
prediction$score(measure)

但是，我如何将测试数据合并到其中？也就是说，我如何衡量测试数据上的预测性能？

在mlr的前一个版本中，我可以这样做；使用测试数据集获得预测，并像这样测量均方误差或R平方值的性能：

pred <- predict(aqMod, newdata = aqTest)
performance(pred, measures = list(mse, rsq))

关于如何在mlr3中做到这一点，有什么建议吗

Answer 1

你应该试试这段代码

pred <- aqMod$predict_newdata(aqTest)
pred$score(list(msr("regr.mse"),
                   msr("regr.rmse")))