我需要通过一些条件来获取elasticsearch文档数。下面是我正在考虑的代码。
// way 1
conditionsCountRDD = conditionRDD.map( condition=> /* ES count query with condition */)
// way 2
ESDataDF = /* get es data as DF */
conditionsCountRDD = conditionRDD.map( condition=> /* DF.filter with condition */)哪种方法更适合获取'conditionCountRDD'?
发布于 2019-04-29 14:42:56
我假设您知道如何从ES查询文档并将其放入SparkContext。
如果您认为,Elasticsearch集群和Spark Cluster的集群配置或多或少类似,我认为让Elasticsearch查询并给出结果会更有效率。
对于像文档计数这样简单的基本搜索查询,获取Spark中的所有文档并在Spark中执行计算是没有意义的,除非您计划运行一些额外的迭代算法/计算。
当涉及到Elasticsearch的metric based aggregation时,它也使用了map reduce的概念。
如果您尝试从SparkContext中的Elasticsearch获取大量文档,然后使用Spark Code执行度量聚合,那么将会有大量的IO,这是Elasticsearch不需要做的事情,但同样,您需要验证并查看最适合的文档。
您可能还会感兴趣地了解Spark计算具体需要多少时间来计算基于度量的聚合/计数;将执行IO操作所需的时间放在一边(我确信这将比ES计算快得多,因为RDD的概念可以让您的所有数据同时在内存中执行计算)。
也就是说,您没有提到/指定Elasticsearch集群和Spark集群的硬件配置。也许你可能还需要使用启发式方法,看看当你用这两种方法做计算时,你是否注意到了任何显着的差异。
请记住,Elasticsearch是水平扩展的,这意味着它有能力执行某些类型的分布式计算,如果它可以执行某些操作,为什么要重做并在其他地方执行。
希望它能帮上忙!
https://stackoverflow.com/questions/55897785
复制相似问题