运行joblib.Parallel(mlxtend)不能在云中扩展-ml

Question

我正在使用mlxtend库运行作业。特别是使用joblib.Parallel source并行化的sequential_feature_selector。当我在本地计算机上运行这个包时，它使用所有可用的CPU，但当我将作业发送到cloud-ml时，它只使用一个内核。我在n_jobs参数中输入的数字是多少并不重要。我也尝试了不同的机器类型，但同样的事情发生了。有人知道问题出在哪里吗？

Answer 1

对于任何可能感兴趣的人，我们解决了将setup.py中的sklearn版本固定到0.20.2的问题。我们以前在包中有sklearn，但没有版本。

#setup.py
from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['joblib==0.13.0',
                     'scikit-learn==0.20.2',
                     'mlxtend']