为什么databricks笔记本中的作业运行时间和命令执行时间不匹配？

Question

我有一个作业，它通过使用api调用的ADF触发。我想知道为什么这个任务花了n分钟才能完成任务。当作业执行结果时，作业执行时间为15分钟，单个单元格/命令加起来甚至不到4-5分钟。

交互集群已经启动并运行，而这是触发的。请告诉我为什么单个单元执行时间的总和与整个作业执行时间不匹配？我在哪里能看到额外的时间花在什么地方？

Answer 1

请按照下面的参考资料详细说明：

数据块笔记本中命令单元格的

• 执行时间.

• 测量Apache火花工作负载度量的性能.

参考：

How to measure the execution time of a query on Spark

https://db-blog.web.cern.ch/blog/luca-canali/2017-03-measuring-apache-spark-workload-metrics-performance-troubleshooting

https://spark.apache.org/docs/latest/monitoring.html