使用Dask和Lightgbm对大型数据集进行评分/预测

Question

希望使用dask分布式集群来加速lightgbm评分/预测。本质上是寻找lightgbm的ParallelPostFit等价物--目前似乎只适用于sklearn模型https://examples.dask.org/machine-learning/parallel-prediction.html。

有人知道lightgbm的等价物是什么吗？

Answer 1

• dask-lightgbm
• xgboost-dask

Answer 2

您可以保存模型并将其包装在ParallelPostFit中

Answer 3

自从这个问题第一次被提出以来，dask-lightgbm已经被吸收到lightgbm中，dask-lightgbm已经被归档。

lightgbm (LightGBM的官方Python包)提供了使用Dask进行训练和预测的接口。

有关文档，请参阅https://lightgbm.readthedocs.io/en/latest/Parallel-Learning-Guide.html#prediction-with-dask；有关代码示例，请参阅https://github.com/microsoft/LightGBM/blob/fdc582ea6ba13faf15ee6707c7c7542790c8821d/examples/python-guide/dask/prediction.py。