如何在Qubole上升级Python版本？

Question

Qubole上的当前版本是3.5.3，一些包，如PyMC3和未来的XGBoost需要更高的版本。如何升级？这会影响其他集群的设置吗？

error message

Answer 1

有几个选项：

如果您使用的是环境，您可以联系Qubole支持并更新到Python 3.7附带的最新版本。但是，这将影响整个集群，并且不会局限于您的作业。

如果你自己管理你的包，那么你可以通过node bootstrap安装带有Python3.7的miniconda，然后让你的工作使用那个环境。

pushd /tmp
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh -bfp /media/ephemeral0/py_37_env

然后，您可以使用Spark属性spark.pyspark.python来指示您的作业使用这个miniconda环境。您可能需要相应地重新安装依赖项。