我使用的是运行在Amazon集群上的2.2.1。有时,就业机会因“期货超时”而失败:
java.util.concurrent.TimeoutException:期货在100000毫秒后超时 在scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) 在scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223) 在org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:201) 在org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:401) 在org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:254) 在org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:764) 在org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67) 在org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66) 在java.security.AccessController.doPrivileged(Native方法中) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836) 在org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66) 在org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:762) 在org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
我更改了两个火花违约的参数。
spark.sql.broadcastTimeout 1000
spark.network.timeout 10000000但没什么用。
你对如何处理这个超时有什么建议吗?
发布于 2020-05-11 16:26:28
你试过设置spark.yarn.am.waitTime吗?
仅在群集模式中使用。纱线应用程序母版等待初始化SparkContext的时间。
上面的报价来自这里。
更多关于我的情况的背景:
我正在使用火花提交来执行java火花作业。我将客户机部署到集群中,客户端正在执行一个非常长的运行操作,导致超时。
我绕开了:
spark-submit --master yarn --deploy-mode cluster --conf "spark.yarn.am.waitTime=600000" https://stackoverflow.com/questions/54382358
复制相似问题