我尝试在mesos集群中运行spark作业来查询弹性数据,使用的esJsonRDD查询类似于:Fetching esJsonRDD from elasticsearch with complex filtering in Spark,并且对于少于32个节点的多节点弹性集群运行良好。随着弹性中节点的增加,作业会失败,出现以下异常:
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37正如在https://github.com/elastic/elasticsearch-hadoop/issues/737中提到的
我使用的是elastic 2.3.4,有没有针对相同版本的elastic的变通方法?以下是我当前Spark Job的gradle依赖项。
compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0'
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4'发布于 2017-07-24 23:43:25
如https://github.com/elastic/elasticsearch-hadoop/issues/737中所述,将elasticsearch-spark版本更改为5.5.0,并正常工作。
compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'https://stackoverflow.com/questions/45200366
复制相似问题