相似的电火花逻辑返回数据中的不同行数。

Question

为什么下面两行代码会产生不同的结果？

email_response.filter(f"first_response_date > date'2020-11-2'")

以上返回176671203行。

email_response.filter(F.col("first_response_date") > F.lit("2020-11-2")).count()

以上返回52063066行。

逻辑看起来是一样的，为什么结果会不同呢？

Answer 1

第二行是将该列与字符串 "2020-11-2"进行比较，而不是日期。如果在第二行中添加一个.cast("date")，我猜您将得到相同的答案。

email_response.filter(F.col("first_response_date") > F.lit("2020-11-2").cast("date")).count()