决策树方法用于数据分析的局限性是什么？

Question

据我所知，决策树方法用于数据分析的主要局限性是：

1. 少提供有关预测因素与响应之间关系的信息。
2. 倾向于方差或水平更大的预测因子。
3. 可能有高度共线预测的问题。
4. 对于样本容量小的响应，预测精度较差。

还有其他的吗？它们对同质性、正态性、独立性等传统统计假设是否稳健？

Answer 1

简单决策树在下面列出了一些限制。幸运的是，其中一些可以固定使用集合学习技术(例如打包，增强.)。

关于限制：

• 树在底部往往很快就会长出来。如果在最后一个节点中几乎没有观察到的数据，那么可能会做出错误的决定。在这种情况下，可以考虑减少树的级别或使用剪枝。
• 树可能是不稳定的，因为数据中的小变化可能导致生成完全不同的树。
• 决策树在每个节点上执行贪婪的最佳分割搜索。对于基于CART的实现来说尤其如此，它测试所有可能的拆分。对于连续变量，这表示了2^(n-1) -1与当前节点中的观测数n的可能分裂。
• 对于分类，如果某些类占主导地位，它可以创建有偏见的树。因此，建议在拟合前平衡数据集。另外，对于决策树，有些发行版可能很难学习。下面是一个例子(XOR)：

Answer 2

1)过拟合是决策树模型最实际的难点之一。该问题通过对模型参数设置约束和剪枝来解决。

2)不适合连续变量:在处理连续数值变量时，决策树在对不同类别的变量进行分类时会丢失信息。