在Spark中计算前一个季度的第一天

Question

如何使用SQL导出最后一个季度的第一个日与Spark查询中的任何给定日期有关？所需样品很少如下：

input_date | start_date
------------------------
2020-01-21 | 2019-10-01
2020-02-06 | 2019-10-01
2020-04-15 | 2020-01-01
2020-07-10 | 2020-04-01
2020-10-20 | 2020-07-01
2021-02-04 | 2020-10-01

宿舍一般为：

1 | Jan - Mar
2 | Apr - Jun
3 | Jul - Sep
4 | Oct - Dec

注意:我使用的是SparkSQLv2.4。

任何帮助都是非常感谢的。谢谢。

Answer 1

使用date_trunc与否定的3个月。

df.withColumn("start_date", to_date(date_trunc("quarter", expr("input_date - interval 3 months"))))
  .show()

+----------+----------+
|input_date|start_date|
+----------+----------+
|2020-01-21|2019-10-01|
|2020-02-06|2019-10-01|
|2020-04-15|2020-01-01|
|2020-07-10|2020-04-01|
|2020-10-20|2020-07-01|
|2021-02-04|2020-10-01|
+----------+----------+

Answer 2

就我个人而言，我会使用excel或其他工具创建一个表，其中包含今后20年的日期，只需引用该表即可。