为什么PySpark过滤器的"!=“条件中不包含null？

Question

在本例中，数据集/代码：

df = spark.createDataFrame(
    [
        (1, "All canines"),
        (2, None),
        (3, "Test"),
    ],
    ["row_id", "animal"]
)

df = df.filter(df.animal != "All canines")

return df

我希望它返回第2行和第3行，但由于某种原因，它只返回第3行。

df = df.filter((df.animal !=“所有犬类”)

但是，在条件语句中去掉null时，我没有得到PySpark的逻辑。幕后发生了什么？

Answer 1

其中，运算符根据用户指定的条件筛选行。条件表达式是布尔表达式，可以返回True、False或Unknown (NULL)。只有当条件的结果是True时，他们才会“满意”。