首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用pyspark查询Elasticsearch索引:如何指定es.nodes?

问使用pyspark查询Elasticsearch索引:如何指定es.nodes?
EN

Stack Overflow用户
提问于 2017-01-23 23:33:17
回答 1查看 899关注 0票数 0

我正在尝试用pyspark查询一个Elasticsearch索引,但没有成功:

代码语言:javascript
复制
] ./bin/pyspark --driver-class-path=jars/elasticsearch-hadoop-2.2.0.jar

在ipython中,spark版本2.0.1:

代码语言:javascript
复制
In [1]: es_read_conf = { "es.resource" : "test/docs" , "es.nodes" : ["xx.xx.xx.aa","xx.xx.xx.bb","xx.xx.xx.cc"],"es.port" : "9200", "es.net.http.auth.user": "myusername", "es.net.http.auth.pass": "mypassword"}
es_rdd = sc.newAPIHadoopRDD(inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat",keyClass="org.apache.hadoop.io.NullWritable", valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable", conf=es_read_conf)

我得到以下错误:

代码语言:javascript
复制
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD.
: java.lang.ClassCastException: java.util.ArrayList cannot be cast to java.lang.String

似乎在将es.nodes的python列表转换为Java string时出现了问题。我尝试使用一个只包含elasticsearch主节点地址(“xx.aa”)的字符串,但得到另一个错误:

代码语言:javascript
复制
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.newAPIHadoopRDD.
: org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: [HEAD] on [test/docs] failed; server[xx.xx.xx.bb:9202] returned [502|Bad Gateway:]

有时错误指的是数据节点bb,有时指的是cc。有趣的是,如果我多次运行同一命令,就不会得到任何错误(可能是在仅针对主节点运行查询时?)。将本地主机作为唯一的es.nodes运行该命令没有任何问题。

EN

回答 1

Stack Overflow用户

发布于 2017-01-24 14:22:01

请参阅ES-hadoop文档enter link description here

您需要将以下属性设置为spark conf:

代码语言:javascript
复制
conf.set("es.nodes","<your host>")
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41809985

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档