首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BigQuery -- DataWarehouse的维度表设计?

问BigQuery -- DataWarehouse的维度表设计?
EN

Stack Overflow用户
提问于 2018-09-06 05:51:43
回答 2查看 1.1K关注 0票数 0

我注意到,BigQuery在维护历史数据方面很好,但在进行单独的记录更新时,性能就不那么好了。

对于历史数据,以“维度和事实范式”在BigQuery中维护维度表有多有效?我只想在维度数据定期完全刷新的情况下使用这种范例,因为维度表不能包含重复的键,并且BigQuery不能执行记录级更新。

我还可以使用哪些方法来维护维度表?我想到了Bigtable,但这是一个很好的应用程序吗?

EN

回答 2

Stack Overflow用户

发布于 2019-09-21 03:11:12

根据“事实”和“维度”表中“事实”和“维度”的大小,以及您期望如何将这两个表关联起来,Bigtable也可能是一个很好的解决方案。

考虑到Bigtable非常适合点写入和批处理摄取,您可能会发现在“事实”表中维护非常细粒度的数据会很容易,并且在应用程序级别上可以快速地进行交互。

  • 例如,如果您关注的是零售业,那么您的“事实”表可以使用大表来记录客户购买的历史记录,其中的行包含有关从客户购买的信息。

根据"Dimensions“表的大小,它可能也适用于Bigtable,特别是在需要快速点更新的情况下。

  • 再次拉动零售业,您的“维度”表可以是一个包含库存可用性的大表,该表描述了一种类型的商品的数量。

一个重要的警告是Bigtable不支持二级索引:在您的查询中将无法在这两个Bigtable表之间进行连接,您将需要减少应用程序端的值。

有关更多信息,请参阅Bigtable文档!

票数 2
EN

Stack Overflow用户

发布于 2018-09-06 10:46:29

对于BigQuery来说,保持数据的非规范化是better。由于是柱状存储,在使用大量数据时不会影响性能。您可以在此处查看BigQuery中的managing数据。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52193841

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档