有没有可能在没有决策树的情况下建立集成模型？

Question

有没有可能在没有决策树的情况下建立集成模型？

我知道，对组合的描述本身就意味着不同。然而，我对机器学习还是很陌生的，到目前为止，我遇到的所有集成模型都使用决策树或使用决策树进行描述。

Answer 1

到目前为止，我使用/描述的所有集成模型都使用决策树。

随机林是决策树的“集成版本”。这是一种常用的集成方法，因为它是建立在算法本身中的。然而，集成方法比决策树更通用，可以与任何学习方法一起使用，例如堆垛模型。

Answer 2

在抽象的最高层次，答案是肯定的。

您可以将一组要评分的值发送给集合中的每个模型，然后根据预定的公式将一组分数的结果组合成一个单一的分数。

从形式上讲，每个事务都通过系统遵循相同的路径，因此不涉及决策。

Answer 3

您确实可以使用其他弱学习者(因为集合的组件通常被称为)，而不仅仅是决策树。也就是说，决策树集合是应用最广泛的，尤其是坡度增强的树木和随机森林。

有时，其他集合只是一个概念性的工具来促进算法的分析，比如当您试图从集成的角度理解神经网络中的辍学时(参见本论文)。有时，它们被用来改善模型的性能，特别是在竞争环境中。当你在Kaggle比赛中看到表现良好的解决方案时，你会经常看到复杂的组合。

集合不需要由来自同一个模型类的弱学习者组成。例如，最近的一篇论文发现了将梯度增强树模型(当然，它们本身就是整体模型)与某些神经网络相结合的集合的良好性能的证据。

如果您正在寻找一种简单的方法来玩非决策树组合，您可能想看看XGBoost。它不仅是基于决策树的组件的两个最重要的实现之一(另一个是LightGBM)，而且还实现了线性函数的升压群。