问spark.network.timeout的值必须不小于spark.executor.heartbeatInterval的值。
EN

Stack Overflow用户

提问于 2021-01-21 21:35:25

回答 1查看 1K关注 0票数 1

我正在努力增加pyspark配置中的心跳间隔参数，但是始终会得到这个错误。有什么好的组合spark.executor.heartbeatInterval间隔和spark.network.timeout增加大作业的超时值，但也使我启动火花会话没有这个错误？

IllegalArgumentException:您的要求失败了: spark.network.timeout=120s的值必须不小于spark.executor.heartbeatInterval=10000s的值。

谢谢!

发布于 2021-01-21 21:53:18

您还必须增加spark.network.timeout值。

文档明确指出：

spark.executor.heartbeatInterval应显著小于spark.network.timeout

很难理解“显著减少”，但默认情况下，spark.network.timeout比spark.executor.heartbeatInterval (10s)大12倍(120 S)。

尝试：

--conf spark.network.timeout 100000 --conf spark.executor.heartbeatInterval 10000

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/65836076

复制

相似问题

问spark.network.timeout的值必须不小于spark.executor.heartbeatInterval的值。EN