Spark中整个阶段代码生成中的"stage“与Spark的阶段有什么关系？

Question

我一直在探索Spark中的全阶段代码生成优化(也称为全阶段编码元)，并且一直在想，在“同时阶段”中有多少“阶段”来自于火花核心对一个阶段(一个火花作业)的意义？

在Spark和Spark的全阶段代码生成阶段之间有什么技术关系吗？还是更广泛地用来指计算中的“阶段”？

Answer 1

在RDD执行、SQL/DataFrame执行和"Wholestage“中，”stage“的术语(和概念)是相同的。

Stage是指从读取(来自外部源或以前的洗牌)到随后的写入(到下一次洗牌或最后输出位置，如文件系统、数据库等)的所有狭窄(映射)操作。

使用Wholestage，如果可能，每个物理操作符都会生成一些代码，并将它们“融合在一起”(基于乐高积木这样的通用模式)，从而生成一个大的Java函数--称之为"f“。

然后(粗略地)使用一个带有所需字段/列的RDD[InternalRow]并执行一个rdd.mapPartitions(f)来执行该执行。

另一种查看它的方法是在SQL选项卡中:当实现“完全”批发代码时，蓝色外部编码框覆盖除了Exchange框(物理洗牌)以外的所有内容。

Answer 2

这些概念非常相似，但并不总是相同的。

在火花核心阶段，对应于一组操作者在洗牌边界内。

下面表达式中的explain()函数已经扩展为整个阶段的代码生成。在explain输出中，当运算符(*)周围有一颗星时，将启用整个阶段的代码生成。在下面的情况下，Range、Filter和两个Aggregate都在运行整个阶段的代码生成。然而，Exchange并不实现整个阶段的代码生成，因为它是通过网络发送数据的.

spark.range(1000).filter("id > 100").selectExpr("sum(id)").explain()

== Physical Plan ==
*Aggregate(functions=[sum(id#201L)])
+- Exchange SinglePartition, None
   +- *Aggregate(functions=[sum(id#201L)])
      +- *Filter (id#201L > 100)
         +- *Range 0, 1, 3, 1000, [id#201L]

在整个阶段编码的情况下，CollapseCodegenStages物理准备规则被用来寻找支持码元的计划，并将它们合并为WholeStageCodegen。

请通过以下链接获得一个更好的想法。

https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-whole-stage-codegen.html

https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-CollapseCodegenStages.html

https://databricks.com/blog/2016/05/23/apache-spark-as-a-compiler-joining-a-billion-rows-per-second-on-a-laptop.html