Elasticsearch Spark，如何多次查询？

Question

我用的是jupyter笔记本。

我想使用查询dsl来准备初始数据帧。

我使用conf.set("es.query", dsl_query)实现这一点。(https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html#_querying)

但是，我想要应用不同的查询来准备另一个数据帧，并且我无法找到在不创建新SparkContext的情况下应用新dsl_query的方法

但我也没有找到在jupyter环境中重新创建SparkContext的方法。

我想使用QueryDSL-1作为基线运行分析，然后使用QueryDSL-2作为另一个基线运行另一个分析

有没有办法在不创建两个笔记本的情况下做到这一点？

Answer 1

您只需要将es.query指定为您的DataFrameReader的一个选项，即：

spark.read.option("es.query", dsl_query).option("...", "...")