如何指定多个星火独立主站(用于spark.master属性)？

Question

我有一个主，有3个工作节点与主通信。

作为一个灾难恢复，我们已经创建了两个大师，让动物园管理员选择主人。我正在使用datastax的火花卡桑德拉连接器。是否有一种方法来传递多个星火主URL来连续地尝试成功。

new SparkConf(true)
        .set("spark.cassandra.connection.host", "10.3.2.1")  
        .set("spark.cassandra.auth.username","cassandra")
        .set("spark.cassandra.auth.password",cassandra"))
        .set("spark.master", "spark://1.1.2.2:7077") // Can I give multiple Urls here?
        .set("spark.app.name","Sample App");

Answer 1

tl；博士用逗号分隔host:port条目，例如spark://localhost:7077,localhost:17077

请注意，您应该避免硬编码连接细节，因为它们是操作的一部分，并且应该真正使用submit的--master命令行选项来定义：

$ ./bin/spark-submit --help

Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.

请参见进行解析的相关火花码：

val masterUrls = sparkUrl.split(",").map("spark://" + _)

而sparkUrl则使用"""spark://(.*)""".r正则表达式进行匹配。