拟合模型中梯度提升树权值的求取

Question

梯度增强学习的函数如下所示：

F(X) = W1*T1(X) + W2*T2(X) + ... + Wi*Ti(X)

其中Wi是权重，Ti是弱学习者(决策树)。我知道如何从一个适合的梯度增强模型中提取单个Ti (estimators_性质)--学习，但是有方法提取Wi吗？

Answer 1

好吧..。Wi由行搜索估计数乘以学习速率组成。在滑雪板上，学习速度是恒定的，所以它被拉了出来。在梯度提升中，实际上每个终端区域(也就是叶)分配了一个权重。这些估计直接存储在树中，并在梯度增强模型的拟合过程中更新(见1)。

要获取第一棵树的终端区域的估计值，请执行：

tree = gbrt.estimators_[0, 0].tree_
leaf_mask = tree.children_left == TREE_LEAF  # TREE_LEAF == -1
w_i = tree.value[leaf_mask, 0, 0]

1