如果我已经从随机森林，gbm，svm，nnet生成了预测，我如何组合结果(预测)以获得更准确的预测？

Question

更具体地说，如何通过创建合奏来改善我的预测？我的意思是，我知道我们会对不同算法(随机森林，nnet，gbm，svm)得到的结果(预测)进行回归。但是我们该怎么做呢？

Answer 1

有很多不同的方法可以解决这个问题。一种方法是训练一个新的顶级模型，该模型的输入将是来自所有其他技术的输出的向量。

另一种解决方法是使用通常与支持向量机一起使用的方法来解决多类问题。

这种方法类似于每个模型之间的锦标赛，其中所有的输出都会在它们之间进行比较，以选择获胜者。通常这是使用“一对一”或“一对一”两种策略中的一种(这是一篇比较它们的论文http://www.researchgate.net/publication/228643199_One_Against_One_or_One_Against_All_Which_One_is_Better_for_Handwriting_Recognition_with_SVMs )

这些都是我脑海中浮现的方法，但我非常肯定你能找到很多新颖的方法来解决这个问题。