文章/答案/技术大牛

发布

社区首页 >问答首页 >使用spark- Python2强制提交

问使用spark- Python2强制提交
EN

Stack Overflow用户

提问于 2017-07-07 23:50:35

回答 2查看 840关注 0票数 0

我正在使用AWS EMR创建Spark应用程序，但是spark-submit运行的是Python3而不是Python2，但是当我运行pyspark时，它是Python2。

如何强制spark-submit使用Python 2？

我试着去做

export PYSPARK_PYTHON=/usr/bin/python2

但它并没有起作用。

谢谢

python-2.7

apache-spark

pyspark

spark-submit

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-07-10 22:26:20

实际上我在我的代码中有这样的代码

from __future__ import print_function

当我运行print 'hello world‘时，它崩溃了，因为它不是默认的打印函数。但我认为它崩溃了，因为它使用的是Python 3而不是Python 2。

票数 0

Stack Overflow用户

发布于 2017-07-08 05:45:35

您有没有尝试过将

PYSPARK_PYTHON=/usr/bin/python2

语句添加到spark-env.sh文件中？

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/44975011

复制

相似问题

问使用spark- Python2强制提交
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用spark- Python2强制提交EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用spark- Python2强制提交
EN