在某些数据组合中，adaboost何时优于XGboost？

Question

我的名字是埃斯兰，是埃及的一名硕士研究生，我的论文是教育数据挖掘领域的。我在我的预测模型中使用了AdaBoost和XGBoost技术，根据开放学习分析数据集OLAD来预测学生的成功率。

分析背后的想法是将各种技术(包括集成和非集成技术)绑定到不同的特征组合上，显示出有趣的结果

结果：

​

​

问题是为什么某些技术在特定的功能组合中表现得比其他技术更好？专门为Random Rorest，XGB和ADA？

Answer 1

基于什么样的空间和你想要近似的函数，ML模型可以达到不同的结果。你可以期待SVM在自然嵌入到希尔伯特空间中的数据上获得最高分数。另一方面，如果数据不适合这种空间(即许多分类的、无序的特征)，您可以预期boosting trees方法将优于SVM。

然而，如果我很好地理解“决策树准确性”是基于图片结果的单个决策树，我相信您的测试是在小数据集上完成的，或者您的boosting和RF被错误地参数化。