发送作业到spark集群

Question

我设置了一个spark集群，使用cassandra作为独立模式下的数据集群。另一方面，我使用IntelliJ的思想来编写驱动程序代码，这些代码将被发送到spark集群，由workers执行。

我想知道的是，是否可以将intellij (在我的本地机器中)中的代码执行到远程集群中，或者我必须创建一个.jar文件并使用sopark-submit?将其部署到工作进程。

我只是在寻找确认，因为我在进行所有设置时遇到了问题，需要减少可能性。

提前谢谢。

Answer 1

你必须在Spark-cluster上执行代码，并将这个集群的配置设置到你的SparkContext上，这样你就可以用Intellij编写代码，并将你的代码部署到远程集群，在那里Spark将执行它，我建议你阅读spec关于在集群上提交应用程序的内容。启动应用的配置可以是下一步：

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://${yourip}:7077 \
  --executor-memory 5G \
  /path/to/examples.jar \
  1000

如果你不想直接重新连接到集群，你可以制作jar文件并将其部署到集群上，而不需要通过spark-submit连接-这个video-tutorial展示了如何制作它。HTH

Answer 2

我猜您正在尝试使用IntelliJ调试驱动程序。

您可以在客户端模式下“提交”应用程序，然后使用IntelliJ集成开发环境附加到驱动程序。