有没有办法用梯度提升来量化自变量的影响？

Question

我被要求运行一个使用梯度提升或随机森林的模型。然而，到目前为止，根据变量重要性返回的唯一输出是基于变量被用作分支规则的次数。我现在被要求基本上得到系数，或者以某种方式量化变量对目标的影响。有没有一种方法可以用梯度提升模型来做到这一点？我的其他想法是只使用那些在常规决策树或GLM或常规回归模型中显示为分支规则的变量。

任何帮助或ides都将不胜感激！非常感谢！

Answer 1

只是为了确保没有误解: SAS实现的决策树/梯度提升(至少在EM中)使用基于拆分的变量重要性。

基于拆分的重要性不计算拆分的数量。它是平方和减少一个变量(具体是所有分割的总和减去这个变量)与模型中所有分割实现的平方和减少的比率。

如果使用代理规则，高度相关的变量将收到大致相同的值。