读取包含年份、月、日分区文件夹的两个日期之间的增量表。

Question

我和Databricks合作。我读过这样的三角表：

path = "/root/data/foo/year=yyyy/month=mm/day=dd"
df = spark.read.table(path).filter("year = '2021' and month = '01' and day ='04')

我不能使用任何日期过滤器，因为分区是建立在不同的文件夹。我不确定.filter()在这个上下文中的行为到底如何。

我把一份工作附在我的笔记本上，每天刷新一次。我在看表格来获取30天的数据。我不知道如何处理，当我将有重叠的两个不同的年份。假设我需要从2022年12月15日到1月15日的数据。在没有适当的日期分区列的情况下，我如何做到这一点？

Answer 1

首先，如果使用year、month和day作为分区列，则路径将类似于"/root/data/foo/year=yyyy/month=mm/day=dd"。

其次，如果您想读取分区列，您应该要么df = spark.read.table("/root/data/foo")然后进行筛选，要么使用df = spark.read.option("basePath", "/root/data/foo/").table(...)。