spark-submit提供NullPointerException

Question

我想创建一个简单的python脚本。当我用pyspark shell编写代码时，它工作得很好。但是当我尝试使用spark-submit时，如下所示：

from pyspark import SparkConf, SparkContext
conf = SparkConf()
sc = SparkContext(conf=conf)

这是我收到的错误消息。我正在使用Anaconda python，还需要做其他设置吗？谢谢

​

Answer 1

您应该指定主地址，如下所示：

SparkConf().setMaster("local[4]")

此外，当您使用spark-submit脚本时，请确保您的Spark集群已启动并正在运行，同时还要确保防火墙没有阻止您的集群节点通信，因为通信发生在大约27231的端口。

试一试，祝你好运。