评估模型

Question

我正在使用R中的不同模型进行多变量时间序列分析，我对同一组数据使用了Arima、glm、H2O.gbm、randomforest和Garch模型。我对每个模型做了预测并计算了RMSE值。我已经根据RMSE值对这些模型进行了排序。但是，我想根据这些模型的RMSE和排名值，为它们提供类似于ratings的电影评级。

> df <- transform(df,rank = ave(RMSE, 
           FUN = function(x) rank(x, ties.method = "first")))
> df
         Model      RMSE  MAPE rank
1        arima  410770.6 0.510    1
2          glm  571215.2 0.841    3
3      H2O.gbm  501895.3 0.449    2
4 randomforest 1157233.0 1.746    4
5        Garch 1161791.0 1.840    5

对如何提供这些型号的评级有任何建议吗？例如，我想把所有的模型打分在10。有什么方法或过程提供评级这些模型？任何帮助都是非常感谢的。

谢谢。马格

Answer 1

你只想把你的模型映射成1-10的比例吗？如果你是线性地考虑错误，那么我们就可以用你的MAPE (或RMSE)分数找到一个线性转换。我们“映射”0.449到10和1.840到1。所以基本上把"MAPE“映射到”评级“

评级= 12.9051 - 6.47017*MAPE

您可以使用RMSE做类似的事情。我不知道这会有多有意义。