是否可以在保持缓存的同时流到BigQuery分区表？

Question

在BigQuery时间，我有一个表在白天进行分区。数据流作业使用流API连续插入新记录，但只插入最新的分区(两个在角落的情况下，当数据在几天的边框上稍微出错的时候)。

另一方面，我在表中查询了大量的历史月份，而不是最近的几天，也就是流缓冲区。

我想利用这些查询结果的缓存。不幸的是，流到表中会禁用缓存，尽管理论上缓存的结果不受流行的影响。

如何在历史分区上使用缓存，同时仍然能够流到最新的分区？

如果这是不可能的，它是一个好的设计：

• 管理两个表：“最近”和“历史”。
• 流恰好是“最近的”。
• 定期将“最近”合并为“历史”，然后清除“近期”。
• 质疑发生在对“历史”和“最近”的某种观点上？

如果是，如果只查询“历史”数据，我将如何定义这样一个使用缓存的视图？还是我需要自己的查询重写工具？

也许你有别的主意？

Answer 1

你不能同时使用缓存和流。。已经有您想要的要求相同的特性请求。

作为一种解决办法，正如您所说的，您需要两个不同的表并使用数据冗余。我同意你发布的方法：

1. 管理两个表：“最近”(流)和“历史”(查询)。
2. 定期将“最近”合并为“历史”，然后清除“近期”。

检查这里如何“管理分区表”。有一个基于bq cp命令的用例列表，它可以帮助您将“最近”表合并到“历史”表中。