首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >星火中是否有跳过左联接的功能,以防不需要由左联接添加的字段?

问星火中是否有跳过左联接的功能,以防不需要由左联接添加的字段?
EN

Stack Overflow用户
提问于 2020-06-10 06:50:09
回答 1查看 72关注 0票数 1

假设我们有一个表A,并且我们正在用一个大表B(获取字段colB)做一个左连接,那么输出将再次与一个大表C连接(以获取字段colC),最后我们将它与一个表D(获取字段colD)连接起来。

因此,上面的3左联接有助于创建一个由多个使用者共享的最终数据集。

作为这段代码的使用者,我从最终的数据集中选择了一个可乐,colD (我不需要colB和colC )

是否有一个特性可以跳过B&C的2连接(因为在我的例子中,下游不需要colB和colC )

FYI:

  • 我不想更改实现(即3联接),因为这个方法是由多个团队使用的。
  • --我不想创建自己的实现(避免代码重复,并跟上跨团队使用的逻辑)

为清晰起见: B,C,D是大的小桌子A是一个事实表(相对于B,C,D)

EN

回答 1

Stack Overflow用户

发布于 2020-06-10 09:03:12

我认为,如果不更改原始代码,这是不可能的。原因是,即使最终结果不包含表B和表C中的列,结果仍然可能取决于哪些表是联接链的一部分。

一个例子:让我们假设我们有这个数据,并且我们希望用id列连接这四个表。

代码语言:javascript
复制
Table A     Table B     Table C     Table D
+---+----+  +---+----+  +---+----+  +---+----+
| id|colA|  | id|colB|  | id|colC|  | id|colD|
+---+----+  +---+----+  +---+----+  +---+----+
|  1|  A1|  |  1|  B1|  |  1|  C1|  |  1|  D1|
|  2|  A2|  |  2|  B2|  |  2|  C2|  |  2|  D2|
+---+----+  +---+----+  |  2| C2b|  +---+----+
                        +---+----+  

需要注意的一点是,表C在join列中包含一个重复的值。

如果这四个表与左联接连接,并选择A和D列,则结果将是

代码语言:javascript
复制
+---+----+----+----+----+     +---+----+----+
| id|colA|colB|colC|colD|     | id|colA|colD|
+---+----+----+----+----+     +---+----+----+
|  1|  A1|  B1|  C1|  D1| ==> |  1|  A1|  D1|
|  2|  A2|  B2| C2b|  D2|     |  2|  A2|  D2|
|  2|  A2|  B2|  C2|  D2|     |  2|  A2|  D2|
+---+----+----+----+----+     +---+----+----+

另一方面,如果只将表A和表D直接连在一起而没有表B和表C,则结果将是

代码语言:javascript
复制
+---+----+----+
| id|colA|colD|
+---+----+----+
|  1|  A1|  D1|
|  2|  A2|  D2|
+---+----+----+

因此,即使最终结果不包含表B和表C中的列,如果加入A->D或A->B-> C ->D,则结果是不同的,因此火花代码不能跳过表B和表C的联接。

好消息是:如果您按照A->B-> C ->D的方式,将表B和C中的列排除在外,Spark将只处理表B和C的联接列,并跳过(例如在洗牌期间)所有其他列。因此,如果不从表B和表C中选择列,则处理的数据量至少会更低。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62297470

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档