我们知道Snowflake是一个压缩的柱状存储数据库,并调整为使用MPP和自动伸缩来运行查询。我们还知道,对于创建数据集市和数据仓库,Kimball和维度建模(Star Schema)已经在市场和实践中存在了几十年。这是一个成功,这要归功于我们过去在DWs中使用的大量Row store DB。
所以这里的问题是在Snowflake中创建数据集市和数据仓库,我们必须遵循Kimball吗?它是否为性能增加了任何价值,事实上,我读到它增加了已经调优为处理列压缩数据的引擎的开销?我们是否仍然需要对列使用代理键,并强制创建Fact和Dimensions以及星型模式,在这些模式中,我们可以简单地连接扁平的非规范化表,以获得类似或更好的性能?
从建模的最佳实践角度来看,像Snowflake这样的超能力数据库会推荐什么?Kimball是必须拥有还是多余,因为它违背了柱式存储优势的目的?
我认为SAP HANA / Redshift / Big Query,甚至Azure SQL Datawarehouse,没有人推荐这样做,我在任何地方都找不到一行推荐使用Kimball或star模式的行。很少有人提到,“它也适用于星型模式”,这并不意味着必须使用星型模式?
发布于 2021-02-25 10:53:06
要记住的一件事是: Snowflake是一个面向行的、列式的商店。这是一个重要的区别。这意味着Snowflake利用了与列存储相关的所有显着压缩增益,但仍然保持了面向行的数据存储方法。
为什么这很重要?
使用微分区方法,这意味着我们仍然可以使用查询谓词消除大量的行,然后只查询满足查询条件的那些行分组中的列存储。所以你真的两全其美。
在我看来,Snowflake可以支持几乎任何数据模型(或部分/混合实现)。
此外,在面向行的列存储中,“冗余”值往往会导致非常非常好的压缩。
https://stackoverflow.com/questions/66110596
复制相似问题