将to_date列与pyspark中的单个值进行比较

Question

我有一个pyspark格式的dataframe，读起来如下：

df = spark.table('db.table')
            .select(F.col('key').alias('key_a'),
                    F.to_date('move_out_date', 'yyyyMMdd').alias('move_out_date'))

现在，我想将move_out_date列与20151231日期进行比较。但是下面的代码不能正常工作

from pyspark.sql import functions as F

df.filter(F.datediff(F.col('move_out_date'), F.to_date('20151231', 'yyyyMMdd')) > 0)

如何将to_date列与单个值进行比较？

Answer 1

这是因为to_date()需要一个列作为参数，而您传递的是一个字符串。要解决添加lit()作为参数和要比较的日期的问题。

import pyspark.sql.functions as f
from pyspark import Row
from pyspark.shell import spark

df = spark.createDataFrame([
    Row(key=1, date='20151231'),
    Row(key=2, date='20160101'),
    Row(key=3, date='20160102')
])

df = df.select(f.col('key').alias('key_a'),
               f.to_date(f.col('date'), 'yyyyMMdd').alias('move_out_date'))

df = df.filter(f.datediff(f.col('move_out_date'), f.to_date(f.lit('20151231'), format='yyyyMMdd')) > 0)

df.show()

输出：

+-----+-------------+
|key_a|move_out_date|
+-----+-------------+
|    2|   2016-01-01|
|    3|   2016-01-02|
+-----+-------------+