运行spark-submit from pycharm

Question

我想知道如何在PyCharm中开发apache-spark程序。我关注了这篇link中的文章。我很好地定义了SPARK_HOME并将pyspark添加到Python path中。导入pyspark模块时没有错误，自动完成工作正常。

但是，当我在PyCharm中运行该程序时，我在定义SparkContext时遇到错误。

Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output
...
...
Exception: Java gateway process exited before sending the driver its port number

我设法用submit-spark在终端上运行了这个程序。我需要更改PyCharm上的配置吗?或者有没有办法在PyCharm中运行submit-spark而不是python？

Answer 1

如果你可以使用终端submit-spark，你可以使用add a run configuration，它会帮你做到这一点。否则，您还可以在Edit Run/Debug Configurations窗口中看到一些配置。This post in particular你能带你去那儿吗？