我正在使用一个BigQuery分区表。分区基于数据中的Timestamp列(而不是基于摄入)。我们正在以每天几百万行的速度将数据流到这个表中。
我们注意到,基于特定日期的查询扫描的数据比分区表中的数据多得多。
以下是未分区分区的当前状态:

我假设右下角的小闪点是正常的(今天早上插入的行的流缓冲区),但是在11月中旬到12月初之间有大量的数据块存在于未分区的分区中,而不是被发送到适当的每日分区(在__PARTITIONS_SUMMARY__中似乎根本不存在这段时间的分区)。
我的两个问题是:
发布于 2019-08-01 06:41:48
我遇到了类似的问题,在基于列的分区表中,许多行保持未分区。因此,我所观察到的是,由于流插入的来源,某些记录没有被分区。对于解决方案,我使用update更新表,并设置分区列日期为null的分区日期。为了更安全起见,请确保分区日期列不应为空。
https://stackoverflow.com/questions/54107622
复制相似问题