Tilde negation过滤掉空值

Question

我想知道有没有解决这个问题的好办法

下面是我的未过滤数据帧deltas，它是源数据集和目标数据集之间的full join的结果：

​

我想删除“未知”和“未指定”值(即第5行和第6行)，因此我使用波浪号来删除这些行：

deltas = deltas.filter(~deltas['tgt_property_owner_type'].isin(['Unknown', 'Not Specified']))

但是，运行带有代字号的display(deltas)不会返回任何结果。我想这是因为这些行对于列来说是null的，所以它也排除了那些行，因为它不能确定它们不是“未知”或“未指定”。但是，上面的正版本(即没有代字号)只返回第5行和第6行，而不返回nulls。

这是我的临时解决方案，它是有效的：

deltas = deltas.withColumn("IsMissingKValue",\
                            when(deltas.tgt_property_owner_type.isin(['Unknown', 'Not Specified']),True) \
                           .otherwise(False))
deltas = deltas.filter(deltas['IsMissingKValue'] == False)

有没有一种巧妙的方法让代字号否定法在求值过程中忽略null？我知道一些变通方法，比如用空字符串替换null，或者在临时视图中运行它并使用SQL进行排序，但是我想知道是否有更纯粹的python语法可以使用。

Answer 1

您可以创建一个谓词m，当您想要检查column是否包括某些字符串时，它将忽略NULL值，并且当您否定此谓词时，它将返回column不包括某些字符串的行以及null行

c = 'tgt_property_owner_type'
m = deltas[c].isin(['Unknown', 'Not Specified']) & deltas[c].isNotNull()

deltas = deltas.filter(~m)

给定数据帧df

df.show()
+---+---+----+
|  A|  B|   C|
+---+---+----+
|  1| r2|   x|
|  3| r1|null|
|  3| r2|   y|
|  4| r1|   z|
|  5| r2|null|
|  5| r1|   p|
+---+---+----+

以下是如何工作的示例

m = df['C'].isin(['x', 'y']) & df['C'].isNotNull()

df.filter(m).show()
+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1| r2|  x|
|  3| r2|  y|
+---+---+---+

df.filter(~m).show()
+---+---+----+
|  A|  B|   C|
+---+---+----+
|  3| r1|null|
|  4| r1|   z|
|  5| r2|null|
|  5| r1|   p|
+---+---+----+