BigQuery表装饰器范围

Question

我们正在使用表装饰器来查询BQ中的增量数据。我希望避免在两个不同的增量(范围)中查询相同的数据。问题是如何对待装饰者范围的边缘？是吗

"end decorator >= range >= start decorator"?
"end decorator > range > start decorator"? 
"end decorator >= range > start decorator"?
other?

谢谢

Answer 1

启动时间和结束时间都包括在内(我刚刚查看了验证代码)。

end decorator >= commit time >= start decorator

因此，如果您有3次、10000次、20000次和30000次(当然，您的时间戳看起来更像1387470149000次，但如果数字很小，则更容易阅读)，您可以使用：

table@0-9999
table@10000-19999
table@20000-29999
table@30000-

@0是特殊的，意思是“最古老的可用时间”，即7天前或创建表的时间。这将将表划分为“最老的时间-> 9.999秒，10秒-> 19.999秒，20秒-> 29.999秒，以及30秒到现在”。

考虑一下这一点，似乎结束时间应该是不包括在内的(end > commit time >= start)。有票支持改变吗？

Answer 2

我发现"table@0-9999“可能会有问题，因为Bigquery会给您提供：

Error: Not Found: Table project:dataset.table@0-9999

实际上，Bigquery将不允许表装饰器中的表创建时间之前的开始时间