我可以通过这样的火花查询elasticsearch:
spark.read.format(
"es"
).options(
**{
"es.index.auto.create": "true",
'es.resource': index_name,
'es.nodes.wan.only': 'true',
'es.nodes': elasticsearch_host,
'es.port': elasticsearch_port,
'es.net.http.auth.user': elasticsearch_user,
'es.net.http.auth.pass': elasticsearch_password,
'es.query': query
}
).load()但是我如何访问es内部地图方法呢?
就像这样:
df.rdd.map(
lambda x: query_es({"match": {"name": x[1]}})
)发布于 2022-11-18 01:17:11
昨天我自己解决了这个问题。解决方案相对简单。
df.rdd.map(
lambda x: ElasticSearch().search(index=index, query={"match": {"name": x[1]}})
)是的,只是一个新的ElasticSearch()对象就能工作了。如果在此步骤中遇到障碍,如Connection Error或等,请尝试设置xpack.security.enabled=false并将procotol从https修改为http。
https://stackoverflow.com/questions/74473030
复制相似问题