连续更新分区Parquet

Question

我有一个火花脚本，它从数据库中提取数据，并以拼花格式将其写入S3。按日期对拼花数据进行分区。由于表的大小，我想每天运行脚本，让它重写最近几天的数据(冗余，因为数据可能会更改几天)。

我想知道如何才能以一种只覆盖我正在工作的日子中的分区的方式将数据写入s3。不幸的是，SaveMode.Overwrite在它之前擦掉了所有的东西，而其他的保存模式似乎并不是我想要的。

我当前写作的片段：

    table
      .filter(row => row.ts.after(twoDaysAgo)) // update most recent 2 days
      .withColumn("date", to_date(col("ts"))) // add a column with just date
      .write
      .mode(SaveMode.Overwrite)
      .partitionBy("date") // use the new date column to partition the parquet output
      .parquet("s3a://some-bucket/stuff") // pick a parent directory to hold the parquets

任何建议都将不胜感激，谢谢！

Answer 1

我正在寻找的答案是动态覆盖，详见这文章。简短的回答，加上这一行解决了我的问题：

sparkConf.set("spark.sql.sources.partitionOverwriteMode", "DYNAMIC")