BigQuery集群:具有多个键的命中聚类

Question

我们有一个按时分区的表(512 M字节/分区)，它在customer_id和time上也有一个集群键。

到目前为止，我们有以下查询，这些查询运行良好：

SELECT column FROM TABLE WHERE customer_id = 'key' and time > '2021-11-10'

SELECT column FROM TABLE WHERE customer_id IN ('key1', 'key2') and time > '2021-11-10'

今天，我们将尝试以下查询：

SELECT column FROM TABLE WHERE customer_id IN (SELECT customer_id FROM customers) AND time > '2021-11-10'                            

我们看到，这个查询没有使用集群，因此从BigQuery中获取了更多的数据。然后我找到了这篇文章，解释了复杂过滤不适用于集群表达。

是否有一个解决方案来定义查询之外的id列表并将其注入查询中？(因为现在我们需要将id列表生成为代码)。

提前打电话，问候

Answer 1

结束评论中的讨论：

使用分区和聚类来提高查询性能和控制大量数据查询的成本。分区有助于将数据分割为分区，并根据指定的列(即。聚集的列。

正如这文档中提到的，为了使集群高效工作，您的表/分区应该大于或大约1GB。在您的情况下，如果您尝试对512‘t的数据进行集群，那么查询性能就不会有任何明显的差异。如果分区导致每个分区的数据量很小(大约小于1GB)，那么您应该更喜欢集群而不是分区。

有关更多信息，请参阅此文档。