首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Pyspark dataframe连接的列名重复的很少,没有重复列的也很少

问Pyspark dataframe连接的列名重复的很少,没有重复列的也很少
EN

Stack Overflow用户
提问于 2019-12-03 17:37:39
回答 1查看 33关注 0票数 1

我需要在我的项目中实现pyspark数据帧连接。

我需要加入3个不同的案例。

1)如果两个数据帧具有相同的名称连接列。我加入如下所示。它消除了重复的列col1, col2。

代码语言:javascript
复制
cond = ['col1', 'col2']

df1.join(df2, cond, "inner")

2)如果两个数据帧具有不同的名称连接列。我加入如下所示。它按预期维护所有4连接列。

代码语言:javascript
复制
cond = [df1.col_x == df2.col_y,
        df1.col_a == df2.col_b]

df1.join(df2, cond, "inner")

3)如果数据帧具有较少的同名连接列和较少的异名连接列。我试过如下所示。但是,它正在失败。

代码语言:javascript
复制
cond = [df1.col_x == df2.col_y,
        df1.col_a == df2.col_b,
        'col1',
        'col2',
        'col3']

df1.join(df2, cond, "inner")

我试过了,如下所示,很管用。

代码语言:javascript
复制
cond = [df1.col_x == df2.col_y,
        df1.col_a == df2.col_b,
        df1.col1 == df2.col1,
        df1.col2 == df2.col2,
        df1.col3 == df2.col3]

df1.join(df2, cond, "inner")

但是col1, col2, col3有重复的列。我希望在联接自身时消除这些重复的列,而不是稍后对列执行drop。

请建议如何实现#3或建议替代方法。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-12-04 04:17:34

没有办法做到这一点:在幕后,作为(序列)字符串(称为自然连接)给定条件的等值连接(colA == colB)被执行,就好像它是常规的等值连接(source)一样,因此

代码语言:javascript
复制
frame1.join(frame2, 
            "shared_column",
            "inner")

被翻译成

代码语言:javascript
复制
frame1.join(frame2,
            frame1.shared_column == frame2.shared_column, 
            "inner")

之后,重复项被丢弃(投影)。

如果有一个条件同时使用了两个键,既可以是自然连接,也可以是常规的等值连接,那么可以在以后删除重复的列,或者重命名在连接之前没有相同名称的列。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59154068

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档