火花物理计划与逻辑计划

Question

我有两个问题：

1. 如果不添加任何额外的代码来打印提交的星火作业的逻辑和物理计划，是否有一种方法可以查看群集上运行的星火作业的物理和逻辑计划。
2. 是否有方法修改集群上运行的火花作业的执行计划( dyanamicaly )，以获得更好的性能。

请分享你的想法。

提前谢谢。

Answer 1

1. 都是物理的 DataFrame =？df.queryExecution.executedPlan 并且可以使用queryExecution属性访问逻辑计划。 df.queryExecution.logical
2. 是的，您可以实现自己的优化器规则。这一功能一般没有正式记录，但有一些外部资源可用：

- [Learn the extension points in Apache Spark and extend the Spark Catalyst Optimizer](https://developer.ibm.com/code/2017/11/30/learn-extension-points-apache-spark-extend-spark-catalyst-optimizer/)

​