首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在火花放电中获取最大和最小日期之间的缺失日期

问在火花放电中获取最大和最小日期之间的缺失日期
EN

Stack Overflow用户
提问于 2022-08-27 12:26:17
回答 1查看 55关注 0票数 0

嗨,我有一个列中的日期,我需要生成最大和最小日期之间的缺失值,与不同的日期,不包括最大和分钟的日期,答案在火花公子?

提前感谢

EN

回答 1

Stack Overflow用户

发布于 2022-08-27 13:00:52

您可以使用序列完成这一任务,而且还可以在序列返回列表时将其分解为中间行。

数据准备

代码语言:javascript
复制
s = StringIO("""
id,min_date,max_date
abc,2022-07-01,2022-07-15
"""
)

df = pd.read_csv(s,delimiter=',')

sparkDF = sql.createDataFrame(df)\
             .withColumn('min_date'
                            ,F.to_date(F.col('min_date')                   
                                ,'yyyy-MM-dd'
                            )
             ).withColumn('max_date'
                            ,F.to_date(F.col('max_date')                   
                                ,'yyyy-MM-dd'
                            )
             )

sparkDF.show()

+---+----------+----------+
| id|  min_date|  max_date|
+---+----------+----------+
|abc|2022-07-01|2022-07-15|
+---+----------+----------+

顺序爆炸

代码语言:javascript
复制
sparkDF = sparkDF.withColumn('missing_dates',F.explode(
                                F.expr("sequence(min_date + 1,max_date - 1,interval 1 day)")
                            )
                        )

sparkDF.show()

+---+----------+----------+-------------+
| id|  min_date|  max_date|missing_dates|
+---+----------+----------+-------------+
|abc|2022-07-01|2022-07-15|   2022-07-02|
|abc|2022-07-01|2022-07-15|   2022-07-03|
|abc|2022-07-01|2022-07-15|   2022-07-04|
|abc|2022-07-01|2022-07-15|   2022-07-05|
|abc|2022-07-01|2022-07-15|   2022-07-06|
|abc|2022-07-01|2022-07-15|   2022-07-07|
|abc|2022-07-01|2022-07-15|   2022-07-08|
|abc|2022-07-01|2022-07-15|   2022-07-09|
|abc|2022-07-01|2022-07-15|   2022-07-10|
|abc|2022-07-01|2022-07-15|   2022-07-11|
|abc|2022-07-01|2022-07-15|   2022-07-12|
|abc|2022-07-01|2022-07-15|   2022-07-13|
|abc|2022-07-01|2022-07-15|   2022-07-14|
+---+----------+----------+-------------+
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73510993

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档