XGBoost如何并行执行？

Question

所以，我所知道的助推技术，比如我们训练数据，更新错误预测值的权重，或者在下一个模型中尽量减少损失。基本上，这是一个连续的过程，我们把一个模型的输出提供给另一个模型。

在XGBoost中，有人说模型是通过数据并行化或模型并行化来并行执行的，所以我无法理解如果是这样的话，如果第一个模型或者弱学习者在不同的节点上并行运行，那么我们是如何从第一个模型或弱学习者中进食的，这与套袋技术或随机森林技术不太相似。我知道我肯定错了，但我不想知道套袋技术是如何并行工作的。

Answer 1

正如您所注意到的，Xgboost不并行运行多个树。您需要在每棵树之后进行预测来更新渐变。相反，它在一棵树中执行并行化，我使用openMP独立地创建分支。要观察这一点，请构建一个巨大的数据集并使用n_rounds=1运行。