数据库笔记本单元运行时

Question

是否有一种方法可以在数据块中获取特定单元的运行时，使用Pyspark?

Answer 1

import time
start = time.time()

time.sleep(3)
end = time.time()
diff=end - start
print(diff)

我能够用上面的代码实现我的需求。

Answer 2

您可以通过调用System.nanoTime (Scala)来做到这一点。当使用spark.time时，执行代码和测量其运行时间的一种方法是使用: spark.time(

注意：您可以使用%魔术命令在笔记本中使用多种语言。

​

​

或

​

​