嗨,我有一个列中的日期,我需要生成最大和最小日期之间的缺失值,与不同的日期,不包括最大和分钟的日期,答案在火花公子?
提前感谢
发布于 2022-08-27 13:00:52
您可以使用序列完成这一任务,而且还可以在序列返回列表时将其分解为中间行。
数据准备
s = StringIO("""
id,min_date,max_date
abc,2022-07-01,2022-07-15
"""
)
df = pd.read_csv(s,delimiter=',')
sparkDF = sql.createDataFrame(df)\
.withColumn('min_date'
,F.to_date(F.col('min_date')
,'yyyy-MM-dd'
)
).withColumn('max_date'
,F.to_date(F.col('max_date')
,'yyyy-MM-dd'
)
)
sparkDF.show()
+---+----------+----------+
| id| min_date| max_date|
+---+----------+----------+
|abc|2022-07-01|2022-07-15|
+---+----------+----------+顺序爆炸
sparkDF = sparkDF.withColumn('missing_dates',F.explode(
F.expr("sequence(min_date + 1,max_date - 1,interval 1 day)")
)
)
sparkDF.show()
+---+----------+----------+-------------+
| id| min_date| max_date|missing_dates|
+---+----------+----------+-------------+
|abc|2022-07-01|2022-07-15| 2022-07-02|
|abc|2022-07-01|2022-07-15| 2022-07-03|
|abc|2022-07-01|2022-07-15| 2022-07-04|
|abc|2022-07-01|2022-07-15| 2022-07-05|
|abc|2022-07-01|2022-07-15| 2022-07-06|
|abc|2022-07-01|2022-07-15| 2022-07-07|
|abc|2022-07-01|2022-07-15| 2022-07-08|
|abc|2022-07-01|2022-07-15| 2022-07-09|
|abc|2022-07-01|2022-07-15| 2022-07-10|
|abc|2022-07-01|2022-07-15| 2022-07-11|
|abc|2022-07-01|2022-07-15| 2022-07-12|
|abc|2022-07-01|2022-07-15| 2022-07-13|
|abc|2022-07-01|2022-07-15| 2022-07-14|
+---+----------+----------+-------------+https://stackoverflow.com/questions/73510993
复制相似问题