Kafka和apache Spark流集群配置

Question

我需要在一组机器上运行一些scala脚本。数据由运行在其中一台机器上的Apache生产者生成。

我已经用集群中每个节点的URL配置了Apache中conf目录中的slaves.template文件。

我使用以下指令运行脚本：./bin/spark-submit --class com.unimi.lucaf.App /Users/lucaferrari/scala-spark-script2/target/scala-spark-script-1.0.jar，但它只运行在主节点上。

我怎么才能修好它？

谢谢

解决了

1. 在文件夹中，conf将slaves.template文件重命名为slaves，并添加了每个工作人员的URL
2. 在文件夹中，conf将spark-env.sh.template文件重命名为spark-env.sh，并添加了以下行： SPARK_MASTER_HOST=1.2.3.4 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=4444 SPARK_WORKER_WEBUI_PORT=8081
3. 在主计算机上的文件夹sbin中，我运行start-master.sh脚本。
4. 在每个工作人员上，我在文件夹sbin中运行start-slave.sh spark://master-url:master-port。master-url和master-port必须在spark-env.sh文件中配置相同。
5. 在脚本的火花配置上，我还添加了主url (val sparkConf = new SparkConf().setAppName("SparkScript").setMaster("spark://master-url:master-port") )
6. 使用./bin/spark-submit --class com.unimi.lucaf.App /home/spark1/scala-spark-script2/target/scala-spark-script-1.0.jar --master spark://master-url:master-port --deploy-mode cluster运行脚本

Answer 1

您是否尝试添加

--master <master_url>

选择？如果省略此选项以激发提交，它将在本地运行。

您还可以查看星火提交选项的文档：https://spark.apache.org/docs/latest/submitting-applications.html#launching-applications-with-spark-submit