首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在分区表中保留未分区的旧行

问在分区表中保留未分区的旧行
EN

Stack Overflow用户
提问于 2019-01-09 10:08:53
回答 1查看 189关注 0票数 4

我正在使用一个BigQuery分区表。分区基于数据中的Timestamp列(而不是基于摄入)。我们正在以每天几百万行的速度将数据流到这个表中。

我们注意到,基于特定日期的查询扫描的数据比分区表中的数据多得多。

以下是未分区分区的当前状态:

​

​

我假设右下角的小闪点是正常的(今天早上插入的行的流缓冲区),但是在11月中旬到12月初之间有大量的数据块存在于未分区的分区中,而不是被发送到适当的每日分区(在__PARTITIONS_SUMMARY__中似乎根本不存在这段时间的分区)。

我的两个问题是:

  • 为什么这些行不会被正确地分区,而在这段时间之前和之后的数据是好的,有什么特别的原因吗?
  • 是否有一种方法可以“刷新”未分区的分区,即强制BigQuery将行分派到正确的每日分区?
EN

回答 1

Stack Overflow用户

发布于 2019-08-01 06:41:48

我遇到了类似的问题,在基于列的分区表中,许多行保持未分区。因此,我所观察到的是,由于流插入的来源,某些记录没有被分区。对于解决方案,我使用update更新表,并设置分区列日期为null的分区日期。为了更安全起见,请确保分区日期列不应为空。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54107622

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档