如何知道由随机森林生成的回归模型是否良好？( MSE和%Var(y))

Question

我尝试使用随机森林进行回归。原始数据是一个218行9列的数据帧。前8列是分类值(可以是A、B、C或D)，最后一列V9的数值可以从10.2%到999.87。

当我在训练集上使用随机森林时，它代表了原始数据的2/3，并且是随机选择的，我得到了以下结果。

>r=randomForest(V9~.,data=trainingData,mytree=4,ntree=1000,importance=TRUE,do.trace=100)
       |      Out-of-bag   |
  Tree |      MSE  %Var(y) |
   100 | 6.927e+04    98.98 |
   200 | 6.874e+04    98.22 |
   300 | 6.822e+04    97.48 |
   400 | 6.812e+04    97.34 |
   500 | 6.839e+04    97.73 |
   600 | 6.852e+04    97.92 |
   700 | 6.826e+04    97.54 |
   800 | 6.815e+04    97.39 |
   900 | 6.803e+04    97.21 |
  1000 | 6.796e+04    97.11 |

我不知道高方差百分比是否意味着模型是好的还是不好的。此外，由于MSE很高，我怀疑回归模型并不是很好。关于如何阅读上面的结果，有什么想法吗？他们的意思是模型不好吗？

Answer 1

就像@Joran told一样，%Var是你的随机森林模型解释的Y的总方差。调整后，将模型应用于您的验证数据(剩余1/3)：

RFestimated = predict(r, data=ValidationData)

检查残差也很有趣：

qqnorm((RFestimated - ValidationData$V9)/sd(RFestimated-ValidationData$V9))

qqline((RFestimated-ValidationData$V9)/sd(RFestimated-ValidationData$V9))

估计值与观测值：

plot(ValidationData$V9, RFestimated)

和RMSE：

RMSE <- (sum((RFestimated-ValidationData$V9)^2)/length(Validation$v9))^(1/2)

我希望这能有所帮助！