梯度增强检测非线性关系吗？

Question

我希望使用科学学习的梯度增强回归来训练一些数据。

我的问题是：

( 1)算法能捕捉到非线性关系吗？例如，在y=x^2的情况下，y随着x接近负无穷大和正无穷大而增加。如果图形看起来像y=sin(x)呢？

( 2)算法是否能够检测特征之间的交互/关系？具体来说，我是否应该在培训集中添加一些特性，即原始特性的总和/差异？

Answer 1

GB方法的工作方式是最小化损失函数，并以一种产生高纯叶子的方式分割每个节点。没有估计人口公式，因此您可以估计目标和特征之间的所有类型的关系。

但是，我不会将相关变量放在模型中，因为：

对于梯度增强树，由于其鲁棒性，一般不需要对其进行多重共线性检验。但实际上，你还是应该做一些基本的检查。例如，如果您发现两个变量是100%相同的，那么当然没有必要保留这两个变量。即使是98%的相关性，通常也可以在不降低整体模型的情况下删除一个变量。资料来源：奎拉