首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >spark rdd中的elasticsearch查询

问spark rdd中的elasticsearch查询
EN

Stack Overflow用户
提问于 2019-04-29 14:05:32
回答 1查看 140关注 0票数 0

我需要通过一些条件来获取elasticsearch文档数。下面是我正在考虑的代码。

代码语言:javascript
复制
// way 1
conditionsCountRDD = conditionRDD.map( condition=> /* ES count query with condition */)

// way 2
ESDataDF = /* get es data as DF */
conditionsCountRDD = conditionRDD.map( condition=> /* DF.filter with condition */)

哪种方法更适合获取'conditionCountRDD'?

EN

回答 1

Stack Overflow用户

发布于 2019-04-29 14:42:56

我假设您知道如何从ES查询文档并将其放入SparkContext。

如果您认为,Elasticsearch集群和Spark Cluster的集群配置或多或少类似,我认为让Elasticsearch查询并给出结果会更有效率。

对于像文档计数这样简单的基本搜索查询,获取Spark中的所有文档并在Spark中执行计算是没有意义的,除非您计划运行一些额外的迭代算法/计算。

当涉及到Elasticsearch的metric based aggregation时,它也使用了map reduce的概念。

如果您尝试从SparkContext中的Elasticsearch获取大量文档,然后使用Spark Code执行度量聚合,那么将会有大量的IO,这是Elasticsearch不需要做的事情,但同样,您需要验证并查看最适合的文档。

您可能还会感兴趣地了解Spark计算具体需要多少时间来计算基于度量的聚合/计数;将执行IO操作所需的时间放在一边(我确信这将比ES计算快得多,因为RDD的概念可以让您的所有数据同时在内存中执行计算)。

也就是说,您没有提到/指定Elasticsearch集群和Spark集群的硬件配置。也许你可能还需要使用启发式方法,看看当你用这两种方法做计算时,你是否注意到了任何显着的差异。

请记住,Elasticsearch是水平扩展的,这意味着它有能力执行某些类型的分布式计算,如果它可以执行某些操作,为什么要重做并在其他地方执行。

希望它能帮上忙!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55897785

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档