我们在prem SQL Server Analysis Services (SSAS)上有许多自定义的复杂计算、许多度量值组、具有更多功能的复杂模型的多维。我们每天处理数十亿行数据,并有自定义Excel插件来连接自定义数据透视表以及用于创建报表、运行即席查询等的标准数据透视表功能。
以下是Azure中可能的解决方案
方法1: Azure Synapse、SSAS多维(ROLAP)、Excel和Power BI。请注意,SSAS Multidimensional将作为IaaS运行,它将托管在VM中。台式机excel/excel 365将能够与云电源BI连接。
方法2: Azure Synapse,Azure Analysis Services表格模型直接查询,Excel和Power BI。台式机excel/excel 365将能够与云电源BI连接。
问:基于庞大的数据量、处理、复杂的逻辑、维护和自定义计算,将采用哪种方法?
用户是否可以通过桌面Excel或Excel 365访问这些基于云的数据立方体,特别是SSAS多维数据?在直接查询模式下,ROLAP与DAX的性能如何?移动和处理大量数据的成本是多少?
发布于 2020-05-11 09:53:32
对于12TB的数据,您可能会看到500 -1200 be的压缩表格模型大小,除非您可以通过不保留所有历史记录、修剪维度中未使用的行和跳过不必要的列来减小模型大小。即使对于每周只处理一次的表格模型来说,这也是非常大的。所以我同意导入模型是不实用的。
我的建议是表格模型。ROLAP多维模型仍然需要MOLAP维度才能很好地执行,而您的维度大小和刷新频率将使其不切实际。
因此,在DirectQuery模式下的Azure Analysis Services中的表格模型应该可以工作。如果你对Synapse进行了很好的优化,你应该有希望得到10-60秒的查询响应时间。如果你做了一项令人惊叹的工作,你可能会更快地获得它。但性能将在很大程度上取决于Synapse。因此,物化视图、启用查询结果集缓存、确保适当的分布和确保高质量的列存储压缩将非常重要。如果您不是Synapse和Azure Analysis Services方面的专家,请找人提供帮助。
在Azure Analysis Services中,确保标记与enforce referential integrity的关系,这会将SQL查询更改为内部联接,这有助于提高性能。并且保持模型和计算尽可能简单,因为你的模型是如此之大。
如果你想要之前预期的可视化的非常快速的交互式仪表板性能,另一个替代方案是使用Power BI Premium而不是Azure Analysis Services,并进行组合模型。这允许您创建一些较小的agg表,这些表被导入并以预期的粒度快速响应查询。但是,其他查询将“错过”aggs,并针对Synapse运行SQL查询。Phil Seamark在Power BI中很好地描述了aggregations。
https://stackoverflow.com/questions/61566121
复制相似问题