没有后缀的spark.network.timeout属性的单元是什么？秒还是毫秒？

Question

如果没有任何后缀(s或ms)的spark.network.timeout定义如下：

spark.network.timeout 600

是秒还是毫秒？

https://spark.apache.org/docs/latest/configuration.html的默认值也是用后缀“120 s”定义的。

Answer 1

给定线条 in HeartbeatReceiver，spark.network.timeout似乎是秒级的。

// "spark.network.timeout" uses "seconds", while `spark.storage.blockManagerSlaveTimeoutMs` uses
// "milliseconds"
private val slaveTimeoutMs =
  sc.conf.getTimeAsMs("spark.storage.blockManagerSlaveTimeoutMs", "120s")
private val executorTimeoutMs =
  sc.conf.getTimeAsSeconds("spark.network.timeout", s"${slaveTimeoutMs}ms") * 1000

“星火”在火花特性的官方文件说：

指定某些时间持续时间的属性应配置为一个时间单位。 指定字节大小的属性应配置为大小单位。

很难找到，但希望你的问题和我的答案更容易找到。