对Spark中dataframe列中的空值进行计数(Scala)

Question

我尝试在DataFrame的列中计算空值，如下所示：

df.filter((df(colname) === null) || (df(colname) === "")).count()

在colname中有一个列的名称。如果列类型是string，这可以很好地工作，但是如果列类型是整数，并且有一些空值，则此代码始终返回0。为何会这样呢？如何更改它才能使其正常工作？

Answer 1

正如在问题中提到的，df.filter((df(colname) === null) || (df(colname) === "")).count()适用于String数据类型，但是测试表明null没有被处理。

@Psidom的答案可以同时处理null和empty，但不能为NaN提供处理。

检查.isNaN应该可以处理所有三种情况

df.filter(df(colName).isNull || df(colName) === "" || df(colName).isNaN).count()

Answer 2

您可以使用isNull来测试null条件：

val df = Seq((Some("a"), Some(1)), (null, null), (Some(""), Some(2))).toDF("A", "B")
// df: org.apache.spark.sql.DataFrame = [A: string, B: int]

df.filter(df("A").isNull || df("A") === "").count
// res7: Long = 2

df.filter(df("B").isNull || df("B") === "").count
// res8: Long = 1