关于“spark.network.timeout的值必须不低于heartbeatInterval值”的错误，尽管它们是相等的

Question

我们的测试用例已经用下面的代码运行了一段时间，但是现在Jenkins上失败了：

lazy val conf: SparkConf = new SparkConf()
.set("spark.executor.heartbeatInterval", "120")
.set("spark.network.timeout", "120")
.set("spark.ui.enabled", "true")
.set("spark.ui.port", "4044")
  .setMaster("local[*]")

错误是：

java.lang.IllegalArgumentException: requirement failed: The value of
spark.network.timeout=120s must be no less than the value of 
spark.executor.heartbeatInterval=120s.

几个明显的谜题：

• 由于值相等，错误消息是自不一致的。
• 这只在詹金斯身上失败了，而在当地却没有。
• 错误刚刚开始发生，没有对代码的那一节进行更改。

是否有人遇到过这个值实际上相等的错误？

Answer 1

看起来，这个变化是由此承诺引入的，根据问题跟踪器，它已经作为2.3.0发行版的一部分发布了。

您所观察到的行为最有可能的解释是，您最近在Jenkins上切换到了这个版本，并且您可能仍然在本地使用以前的版本，这可以解释代码更改后行为的差异和变化。

关于信息不一致的问题，我同意。您可能想为此打开一张票(或者自己提供一个补丁)。问题就在这条线上：

require(executorTimeoutThreshold > executorHeartbeatInterval, "The value of " +
  s"spark.network.timeout=${executorTimeoutThreshold}s must be no less than the value of " +
  s"spark.executor.heartbeatInterval=${executorHeartbeatInterval}s.")

正如您注意到的，检查是为了一个更严格的不平等，而信息表明是非严格的。