假设我们有一个表A,并且我们正在用一个大表B(获取字段colB)做一个左连接,那么输出将再次与一个大表C连接(以获取字段colC),最后我们将它与一个表D(获取字段colD)连接起来。
因此,上面的3左联接有助于创建一个由多个使用者共享的最终数据集。
作为这段代码的使用者,我从最终的数据集中选择了一个可乐,colD (我不需要colB和colC )
是否有一个特性可以跳过B&C的2连接(因为在我的例子中,下游不需要colB和colC )
FYI:
为清晰起见: B,C,D是大的小桌子A是一个事实表(相对于B,C,D)
发布于 2020-06-10 09:03:12
我认为,如果不更改原始代码,这是不可能的。原因是,即使最终结果不包含表B和表C中的列,结果仍然可能取决于哪些表是联接链的一部分。
一个例子:让我们假设我们有这个数据,并且我们希望用id列连接这四个表。
Table A Table B Table C Table D
+---+----+ +---+----+ +---+----+ +---+----+
| id|colA| | id|colB| | id|colC| | id|colD|
+---+----+ +---+----+ +---+----+ +---+----+
| 1| A1| | 1| B1| | 1| C1| | 1| D1|
| 2| A2| | 2| B2| | 2| C2| | 2| D2|
+---+----+ +---+----+ | 2| C2b| +---+----+
+---+----+ 需要注意的一点是,表C在join列中包含一个重复的值。
如果这四个表与左联接连接,并选择A和D列,则结果将是
+---+----+----+----+----+ +---+----+----+
| id|colA|colB|colC|colD| | id|colA|colD|
+---+----+----+----+----+ +---+----+----+
| 1| A1| B1| C1| D1| ==> | 1| A1| D1|
| 2| A2| B2| C2b| D2| | 2| A2| D2|
| 2| A2| B2| C2| D2| | 2| A2| D2|
+---+----+----+----+----+ +---+----+----+另一方面,如果只将表A和表D直接连在一起而没有表B和表C,则结果将是
+---+----+----+
| id|colA|colD|
+---+----+----+
| 1| A1| D1|
| 2| A2| D2|
+---+----+----+因此,即使最终结果不包含表B和表C中的列,如果加入A->D或A->B-> C ->D,则结果是不同的,因此火花代码不能跳过表B和表C的联接。
好消息是:如果您按照A->B-> C ->D的方式,将表B和C中的列排除在外,Spark将只处理表B和C的联接列,并跳过(例如在洗牌期间)所有其他列。因此,如果不从表B和表C中选择列,则处理的数据量至少会更低。
https://stackoverflow.com/questions/62297470
复制相似问题