首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Spark Jobs错误为:太多元素无法创建电源集34

问Spark Jobs错误为:太多元素无法创建电源集34
EN

Stack Overflow用户
提问于 2017-07-20 04:25:09
回答 1查看 71关注 0票数 1

我尝试在mesos集群中运行spark作业来查询弹性数据,使用的esJsonRDD查询类似于:Fetching esJsonRDD from elasticsearch with complex filtering in Spark,并且对于少于32个节点的多节点弹性集群运行良好。随着弹性中节点的增加,作业会失败,出现以下异常:

代码语言:javascript
复制
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37

正如在https://github.com/elastic/elasticsearch-hadoop/issues/737中提到的

我使用的是elastic 2.3.4,有没有针对相同版本的elastic的变通方法?以下是我当前Spark Job的gradle依赖项。

代码语言:javascript
复制
compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0'
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4'
EN

回答 1

Stack Overflow用户

发布于 2017-07-24 23:43:25

如https://github.com/elastic/elasticsearch-hadoop/issues/737中所述,将elasticsearch-spark版本更改为5.5.0,并正常工作。

代码语言:javascript
复制
compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45200366

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档