我需要在我的项目中实现pyspark数据帧连接。
我需要加入3个不同的案例。
1)如果两个数据帧具有相同的名称连接列。我加入如下所示。它消除了重复的列col1, col2。
cond = ['col1', 'col2']
df1.join(df2, cond, "inner")2)如果两个数据帧具有不同的名称连接列。我加入如下所示。它按预期维护所有4连接列。
cond = [df1.col_x == df2.col_y,
df1.col_a == df2.col_b]
df1.join(df2, cond, "inner")3)如果数据帧具有较少的同名连接列和较少的异名连接列。我试过如下所示。但是,它正在失败。
cond = [df1.col_x == df2.col_y,
df1.col_a == df2.col_b,
'col1',
'col2',
'col3']
df1.join(df2, cond, "inner")我试过了,如下所示,很管用。
cond = [df1.col_x == df2.col_y,
df1.col_a == df2.col_b,
df1.col1 == df2.col1,
df1.col2 == df2.col2,
df1.col3 == df2.col3]
df1.join(df2, cond, "inner")但是col1, col2, col3有重复的列。我希望在联接自身时消除这些重复的列,而不是稍后对列执行drop。
请建议如何实现#3或建议替代方法。
发布于 2019-12-04 04:17:34
没有办法做到这一点:在幕后,作为(序列)字符串(称为自然连接)给定条件的等值连接(colA == colB)被执行,就好像它是常规的等值连接(source)一样,因此
frame1.join(frame2,
"shared_column",
"inner")被翻译成
frame1.join(frame2,
frame1.shared_column == frame2.shared_column,
"inner")之后,重复项被丢弃(投影)。
如果有一个条件同时使用了两个键,既可以是自然连接,也可以是常规的等值连接,那么可以在以后删除重复的列,或者重命名在连接之前没有相同名称的列。
https://stackoverflow.com/questions/59154068
复制相似问题