首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >我可以在星火图方法中查询elasticsearch吗?

问我可以在星火图方法中查询elasticsearch吗?
EN

Stack Overflow用户
提问于 2022-11-17 09:29:22
回答 1查看 11关注 0票数 0

我可以通过这样的火花查询elasticsearch:

代码语言:javascript
复制
spark.read.format(
    "es"
).options(
    **{
        "es.index.auto.create": "true",
        'es.resource': index_name,
        'es.nodes.wan.only': 'true',
        'es.nodes': elasticsearch_host,
        'es.port': elasticsearch_port,
        'es.net.http.auth.user': elasticsearch_user,
        'es.net.http.auth.pass': elasticsearch_password,
        'es.query': query
    }
).load()

但是我如何访问es内部地图方法呢?

就像这样:

代码语言:javascript
复制
df.rdd.map(
 lambda x: query_es({"match": {"name": x[1]}})
)
EN

回答 1

Stack Overflow用户

发布于 2022-11-18 01:17:11

昨天我自己解决了这个问题。解决方案相对简单。

代码语言:javascript
复制
df.rdd.map(
    lambda x: ElasticSearch().search(index=index, query={"match": {"name": x[1]}})
)

是的,只是一个新的ElasticSearch()对象就能工作了。如果在此步骤中遇到障碍,如Connection Error或等,请尝试设置xpack.security.enabled=false并将procotol从https修改为http。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/74473030

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档