Pyspark创建数组来存储数据帧的三个键

Question

我想创建一个数组，并从一个数据帧中保存三个字段，然后读取该数组，这样存储在数组中的代码就不会在另一个数据帧中。

df1

id; id1; code; date_create
1; 100; 50; 2021-10-10
2; 200; 60; 2021-10-10
3; 300; 70; 2021-10-10
4; 400; 80; 2021-10-10
5; 500; 90; 2021-10-10

df2

1; 100; 50; 2021-10-10
2; 200; 60; 2021-10-10
3; 300; 70; 2021-10-10
4; 400; 80; 2021-10-15
5; 500; 90; 2021-10-15
6; 600; 100; 2021-10-15
7; 700; 101; 2021-10-15

我想将它存储在一个数组中：

读取df2，其中date_create等于2021-10-15，并保存字段id，id1，代码

在读取数组并再次生成df1之后，但没有数组中的id、id1和代码

或多或少像这样，下面的代码不正确更多的是一种想法

list = np.array (df1.select ("id", id1, code) .collect ())
    for i in lista:
          df1 = df1.filter (df1 ["id", id1, code]! = i)

然后我要成立一个工会

df2.union (df1)

以避免重复问题。

如果有人能帮助我，我将不胜感激。

result
    id; id1; code; date_create
    1; 100; 50; 2021-10-10
    2; 200; 60; 2021-10-10
    3; 300; 70; 2021-10-10
    4; 400; 80; 2021-10-15
    5; 500; 90; 2021-10-15
    6; 600; 100; 2021-10-15
    7; 700; 101; 2021-10-15

Answer 1

您可以执行反联接来消除重复项，然后进行联合：

result = df1.join(df2, ['id', 'id1', 'code'], 'anti').union(df2)