在Skylake CPU上运行xgboost要慢得多。

Question

我们正在编译一个香草Ubuntu对接图像上的源xgboost v0.7。此映像正在时间关键设置中运行在我们的EC2实例上。

最近，我们尝试了新的EC2 c5实例类型，它应该是。非常奇怪的是，在新的C5s上，同样的对接者的形象在时间上会产生更糟糕的结果。中位慢3X。

关于为什么会这样的想法？

编译xgboost with -march=skylake-avx512 512时仍然有效

Answer 1

刚看到这篇文章，看上去很像我们看到的。

https://aloiskraus.wordpress.com/2018/06/16/why-skylakex-cpus-are-sometimes-50-slower-how-intel-has-broken-existing-code/

Answer 2

当迁移到Google上的Skylake时，我们也遇到了类似的问题(3倍的延迟时间)。然而，事实证明，真正的问题是使用了大量的核(32个核)的实例。由于某种原因，XGBoost每个XGBoost实例产生30个线程(即使predict只在单个线程中运行)。更多细节请看https://github.com/dmlc/xgboost/issues/1345。

我们通过设置

model._Booster.set_param("nthread", 1)

就在加载模型之后。