首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >火花失效-期货超时

问火花失效-期货超时
EN

Stack Overflow用户
提问于 2019-01-26 20:19:55
回答 1查看 3.8K关注 0票数 4

我使用的是运行在Amazon集群上的2.2.1。有时,就业机会因“期货超时”而失败:

java.util.concurrent.TimeoutException:期货在100000毫秒后超时 在scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) 在scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223) 在org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:201) 在org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:401) 在org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:254) 在org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:764) 在org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67) 在org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66) 在java.security.AccessController.doPrivileged(Native方法中) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836) 在org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66) 在org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:762) 在org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

我更改了两个火花违约的参数。

代码语言:javascript
复制
spark.sql.broadcastTimeout 1000
spark.network.timeout 10000000

但没什么用。

你对如何处理这个超时有什么建议吗?

EN

回答 1

Stack Overflow用户

发布于 2020-05-11 16:26:28

你试过设置spark.yarn.am.waitTime吗?

仅在群集模式中使用。纱线应用程序母版等待初始化SparkContext的时间。

上面的报价来自这里。

更多关于我的情况的背景:

我正在使用火花提交来执行java火花作业。我将客户机部署到集群中,客户端正在执行一个非常长的运行操作,导致超时。

我绕开了:

代码语言:javascript
复制
spark-submit --master yarn --deploy-mode cluster --conf "spark.yarn.am.waitTime=600000" 
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54382358

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档