我注意到,BigQuery在维护历史数据方面很好,但在进行单独的记录更新时,性能就不那么好了。
对于历史数据,以“维度和事实范式”在BigQuery中维护维度表有多有效?我只想在维度数据定期完全刷新的情况下使用这种范例,因为维度表不能包含重复的键,并且BigQuery不能执行记录级更新。
我还可以使用哪些方法来维护维度表?我想到了Bigtable,但这是一个很好的应用程序吗?
发布于 2019-09-21 03:11:12
根据“事实”和“维度”表中“事实”和“维度”的大小,以及您期望如何将这两个表关联起来,Bigtable也可能是一个很好的解决方案。
考虑到Bigtable非常适合点写入和批处理摄取,您可能会发现在“事实”表中维护非常细粒度的数据会很容易,并且在应用程序级别上可以快速地进行交互。
根据"Dimensions“表的大小,它可能也适用于Bigtable,特别是在需要快速点更新的情况下。
一个重要的警告是Bigtable不支持二级索引:在您的查询中将无法在这两个Bigtable表之间进行连接,您将需要减少应用程序端的值。
有关更多信息,请参阅Bigtable文档!
https://stackoverflow.com/questions/52193841
复制相似问题