elasticsearch-hadoop如何基于不同的ES集群创建两个RDD

Question

我需要连接来自两个不同ES集群的两个Rdds，但是我发现我只能基于一个ES集群创建一个SparkConf和SparkContext。例如，代码如下：

var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")

那么，如何从不同的ES集群创建两个RDD呢？

Answer 1

有一个cfg参数用于esRDD。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")设置配置。