- 综合排序
- 最热优先
- 最新优先
- 来自专栏SQL查询优化
SQL多维分析
OLAP(Online analytical processing) 联机分析处理：是计算机技术中快速解决多维分析问题（MDA, multi-dimensional analytical）的一种方法。 多维分析中数据通常以立方体(Cube)形式存储，Cube可理解为一组多维数据集，即多个维度构成的数据集，可由多个维度中的维度成员交叉形成单元格数据组成。 分析算子 以下将以Spark SQL举例，说明ROLAP中常用的多维分析算子 GROUP BY GROUP BY 子句通过一组指定的分组表达式对行数据分组，并基于一个或多个聚合函数在对应行进行聚合计算， 这4个新行会对原有表的每行数据扩展，如原始表5行数据，则LATERAL VIEW 变为20 (5✖️4)行数据。 多维分析的核心概念是将数据按照不同的属性或特征进行组织，以便用户可以从不同层面深入了解数据的内在联系和潜在价值。 推荐阅读 [1] Edgar F Codd. 1993.
1.8K75编辑于 2024-07-08 - 来自专栏祝威廉
SparkES 多维分析引擎设计
spark-es-4.png 整个系统大概分成四个部分。
1.1K30发布于 2018-08-27 - 来自专栏复盘总结文章集合
详谈项目集成OLAP多维分析报表JPivot并实现多维分析平台自主化
打开tomcat文件夹去除WEB-INF\lib下的重复JAR包，保留最新jar版本包
1.1K30发布于 2019-05-28 - 来自专栏数据仓库践行者
spark sql多维分析优化——细节是魔鬼
这次是分享一个多维分析优化的案例 【本文大纲】 业务背景 spark sql处理count distinct的原理 spark sql 处理 grouping sets的原理 优化过程及效果 总结 1 a.child) ..... } 3、spark sql 处理 grouping sets grouping sets 、rollup 、cube 是用来处理多维分析的函数 优化过程 4.1 定位问题 了解了count distinct 和 grouping sets 的原理，已经基本能知道哪里慢了，还是来看一下执行计划： == Physical Plan == +- *(4) app_bundle#97, render_name#98, platform#99, spark_grouping_id#85], functions=[count(if ((gid#151 = 4) 优化后只用5分钟，棒棒哒~~ 5、总结 总体来说，expand 方式适合维度小的多维分析，这是因为 expand 方式读取数据的次数只有一次，但数据会膨胀n倍。
4.8K70发布于 2020-04-20 多维分析场景下主流OLAP引擎横向评测
本文以“多维分析”为核心维度，对腾讯云TCHouse-D、StarRocks、Apache Doris三款热门引擎进行对比分析，帮助架构师快速完成技术选型。 功能亮点 支持高并发多维分析，行列混存+智能索引，实现毫秒级钻取、上卷、切片；在线Schema变更、预计算物化视图降低查询延迟；跨AZ三副本高可用。 功能亮点 CBO+向量化执行，支持高并发多维分析，万级QPS下钻取延迟稳定在亚秒级；物化视图自动刷新，支持Bitmap、HyperLogLog 等高阶去重分析。 功能亮点 列式存储+向量化执行，支持高并发多维分析；内置轻量级预聚合、Bitmap/ZoneMap索引，实现毫秒级切片；多租户资源组隔离。 技术团队可从生态依赖、交付周期、运维投入与成本模型四维度综合权衡，实现多维分析能力的最佳性价比。
62210编辑于 2025-08-06- 来自专栏腾讯大数据的专栏
直播预告 | 腾讯新一代多维分析引擎MercsDB
6月11日9点，腾讯大数据将联合DataFun举办：多维分析架构峰会。腾讯数据平台部总监陈鹏将担任峰会的荣誉主席，计算平台组负责人陈奕安将担任峰会的主席。 本次峰会共设置9大主题论坛，来自腾讯的技术专家龙跃将担任新一代 MPP 数据库架构论坛出品人并作《腾讯新一代多维分析引擎MercsDB》主题分享。 本次峰会精彩纷呈，内容上既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。 演讲主题：腾讯新一代多维分析引擎 MercsDB 演讲提纲： 1. MercsDB 背景 2. MercsDB 架构：与 Presto 的高效融合 3. MercsDB 存储：多种索引支持多场景高效 IO 4. MercsDB 计算：基于 Kona JDK Vector API 的向量化计算 5. MercsDB 应用与效果 听众收益： 1.
1.2K30编辑于 2022-06-10 - 来自专栏数据仓库践行者
spark sql多维分析优化——提高读取文件的并行度
这次分享多维分析优化的另一种情况 【本文大纲】 1、描述问题背景 2、讲一下解决思路 3、解决办法（spark sql处理parquet row group原理及分区原理，参数测试，解决方案） 4、效果 distinct clk_deviceid) as click_uv, round(sum(case when winprice<0 then 0 else winprice end)/1000, 4) ，分别计算指标，然后再 join 起来，这个也是上一篇【spark sql多维分析优化——细节是魔鬼】用到的一个办法。 parquet.block.size 是可以依据实际使用情况来调优的，对于做多维分析表，可以设置稍小一点。 最终 经过调试设置parquet.block.size 为16M ；设置spark.sql.files.maxPartitionBytes为16M 4、效果 修改参数后： ? ?
3K60发布于 2020-04-18 - 来自专栏数据派THU
数据蒋堂 | 多维分析预汇总的方案探讨
本文与你探讨多维分析初始状态时该预先汇总哪些组合。 我们在《多维分析预汇总的存储容量》中计算过，如果想做到O(1)的复杂度，至少要考虑界面用到的各种维度组合，这在维度总量稍多一点时就不可行了。 多维分析性能优化的目标是前端反应速度，如果中间CUBE仍然很大，那么再聚合也会比较慢，这时候，这些再聚合的结果也可以作为一些新的中间CUBE保存起来。 经过这些处理后，我们虽然无法完全做到O(1)复杂度，但常常也能把计算性能从全量硬遍历提高几十倍甚至上百倍，这对于大多数多维分析场景已经足够了。 ---- 我们还在《多维分析预汇总的功能盲区》中说过几种情况无法通过预汇总来提高性能。
71730发布于 2019-05-09 YashanDB数据库多维分析功能及应用实践
传统数据库往往面临性能瓶颈、数据一致性问题等挑战，而YashanDB的多维分析功能为这些问题提供了解决方案。 本文旨在深入探讨YashanDB的多维分析功能，明晰其技术原理，并为希望提升数据分析能力的技术人员和数据库管理员提供实用的指导。 YashanDB的多维分析体系架构YashanDB采用了独特的多维数据存储架构和复杂查询优化技术，使得其在海量数据环境下的多维分析能力得到充分发挥。 技术优势YashanDB的多维分析功能的主要优势体现在：高性能： 采用了行、列存储结合的方式，通过高效的内存管理和磁盘I/O策略，使得查询响应速度大幅提升。 应用实例与实践建议在实际应用中，YashanDB的多维分析功能被广泛应用于业务智能、市场分析、用户行为分析等多个场景。
11400编辑于 2025-07-04- 来自专栏腾讯云大数据
新型多维分析架构全揭秘！
本次峰会共设置9大主题论坛，并邀请目前工作在大数据多维分析领域的负责人、架构师、数据工程师和开源多维分析项目的核心成员分享，内容既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术 演讲主题：流批一体的实时多维分析 演讲提纲： 1. 大数据架构演进 2. 流批一体方案 3. 关键问题突破 4. 后续规划 听众收益： 1. 大数据架构如何选型？ 2. 流批一体怎么做？ 3. 多维分析在实时计量和计费系统中的特殊应用 4. 海量数据搭建按秒计量计费系统的挑战和相关问题解决 5. 演讲主题：多维分析在云音乐社交创新业务的应用 演讲提纲： 1. 业务背景介绍 2. 多维分析场景介绍 3. 多维分析的意义 4. 多维分析的数据底座 5. 未来构想 听众收益： 1. 演讲主题：多维数据分析平台在37手游的技术演进 演讲提纲： 1. 37手游的业务特点简介 2. 37手游多维分析技术演进 3. 多维分析平台建设过程中的经验与教训 4.
5.9K10编辑于 2022-06-08 - 来自专栏Java成神之路
Saiku_学习_03_Saiku+Kylin构建多维分析OLAP平台
一、技术选型 参见：Saiku+Kylin多维分析平台探索 1.saiku Saiku 作为分析平台，提供可视化的操作，能方便的对数据进行查询、分析，并提供图形化显示 2.kylin Kylin 作为分析引擎 3.Saiku + Kylin 实现多维分析 Saiku 根据用户在页面的操作，生成 MDX，然后，Mondrian根据MDX生成查询语句SQL， 而 Kylin 可以根据SQL 查询 cube，快速得到结果 二、Kylin安装部署 七、参考资料 1.mustangore/kylin-mondrian-interaction 2.Saiku+Kylin多维分析平台探索
1.2K20发布于 2018-08-10 - 来自专栏九州牧云
滴滴 x StarRocks：极速多维分析创造更大的业务价值
技术选型 电商场景的流量日志、行为日志一般会比传统场景下的数据量大很多，因此在这样的背景下做漏斗分析给我们带来了两大技术挑战： 日增数据量大：日增千万级数据，支持灵活选择维度，如何快速地对亿级数据量进行多维分析 数据仓库： Spark+Flink通过流式数据处理方式将数据存入StarRocks，我们可以根据不同的业务场景在StarRocks里创建明细表、聚合表和更新表以及物化视图，满足业务方多样的数据使用要求 4、 全局ID的生成方式，是用历史表中当前的最大的用户ID加上新增用户的行号： --4 更新Hive字典表 insert overwrite global_dict_by_userid_hive_table from fact_log_user_hive_table a left join global_dict_by_userid_hive_table b on a.user_id=b.user_id 4、 (65533) NULL COMMENT "用户id", `event_source` varchar(65533) NULL COMMENT "端（1：商城小程序 2：团长小程序 3：独立APP 4：
1K20发布于 2021-09-29 Doris 是如何支持多维分析的？什么是预聚合？
在 Apache Doris 中，多维分析（OLAP）是一种重要的功能，它允许用户从多个维度对数据进行查询和分析。 Doris 通过多种技术手段支持多维分析，包括预聚合（Pre-Aggregation）、物化视图（Materialized Views）和索引优化等。 多维分析支持预聚合（Pre-Aggregation）预聚合是指在数据写入时，系统自动计算并存储一些常用的聚合结果，以便在查询时能够快速返回结果。预聚合可以显著提高查询性能，特别是在处理大量数据时。 示例：CREATE INDEX idx_region ON sales (region);总结Apache Doris 通过预聚合、物化视图和索引优化等多种技术手段，支持高效的多维分析。 这些技术共同作用，使得 Doris 能够在处理大规模数据时提供快速、灵活的多维分析能力。
50710编辑于 2025-01-26- 来自专栏葡萄城控件技术团队
SpreadJS集算表联动数据透视表，高效实现前端数据多维分析
本文围绕数据设置及分析，整合SpreadJS中集算表及数据透视表功能，提供一种纯前端高效能数据多维分析方案。 本文中，测试接口由Postman模拟生成，对应的接口为“https://9a288081-e4c6-4468-8228-b2fefad890c1.mock.pstmn.io/getOrder”，返回数据字段为
1.2K40编辑于 2022-12-25 YashanDB数据库支持的多维分析与智能报表功能
企业需要快速从海量数据中提取有价值的信息以支持决策，因而多维分析和智能报表功能成为了数据库系统的重要组成部分。 YashanDB通过其先进的体系结构和存储引擎，提供了高效的多维分析与智能报表功能，可以帮助企业更好地完成数据分析和报表生成任务。 多维分析支持YashanDB在多维分析方面具备强大的功能，主要体现于数据建模、数据查询和分析性能等几个方面。它支持星型和雪花模型的关键能力，允许用户利用多维数据结构存储和查询数据。 同时，借助多版本并发控制（MVCC）技术，确保在执行多维分析时不发生阻塞，使得用户可以在高并发环境下流畅访问数据。 结论YashanDB通过支持多维分析与智能报表功能，凸显了其在数据处理与分析领域的先进性。
15800编辑于 2025-07-07数据仓库多维分析利器：哪些产品支持ROLLUP和CUBE语句？
三、腾讯云TCHouse-D：多维分析的理想选择 在众多支持ROLLUP和CUBE的数据仓库产品中，腾讯云数据仓库TCHouse-D凭借其独特优势脱颖而出，成为企业多维分析场景的理想选择。 用户可以使用熟悉的SQL语句进行复杂多维分析，无需学习新的查询语言。 卓越的性能表现：通过向量化执行引擎和智能查询优化器，TCHouse-D在处理PB级数据的多维聚合查询时仍能保持亚秒级响应。 2.实际应用场景 在实际业务中，TCHouse-D的多维分析能力为企业带来了显著价值： 零售行业销售分析：某大型零售企业使用TCHouse-D构建实时数据仓库，通过ROLLUP功能实现了"全国-大区-省份 对于寻求高性能、高可靠多维分析能力的企业而言，TCHouse-D无疑是一个值得重点考虑的选择。 在数据价值日益凸显的今天，选择一个既强大又经济的数据分析平台，将为企业数字化转型提供坚实的技术支撑。 腾讯云TCHouse-D正是这样一个能够平衡性能、功能与成本的多维分析利器。
9310编辑于 2026-04-01- 来自专栏应用计算
ChatBI 不止 Text2SQL，加上多维分析才算全链 AI+ 商业智能
而且，既使想做多维分析，也会发现无从下手。 多维分析是个“动作序列，是一连串的交互操作：先按什么分组、再对什么汇总、如何排序、是否计算衍生指标……这些步骤之间存在逻辑依赖和状态传递，且高度依赖具体的 BI 工具上下文。 先从 NLQ（自然语言查询）开始，得到查询结果：接下来针对这个结果做进一步分析，点击“新建报表”，进入多维分析界面：下面我们通过汉语命令来指挥数据分析工作。 数据过滤支持了条件形式，我们还可以做数据过滤，也就是多维分析中常见的切片 / 切块。 行列转换多维分析的旋转操作也可以用命令完成，输入：上表头 年份把年份放到上表头，形成交叉表。
20110编辑于 2026-01-14 解锁广告投放新维度：如何用腾讯云TCHouse-P实现高效多维分析？
而腾讯云数据仓库 TCHouse-P 的出现，为广告多维分析提供了一种简单、快速且经济高效的PB级云端解决方案。 二、四步构建广告多维分析平台 使用 TCHouse-P 进行广告多维分析，可以遵循以下路径： 数据汇聚与集成：首先，通过数据同步工具或ETL流程，将来自广告平台API（如腾讯广告、巨量引擎）、网站分析工具 例如，可以建立以“广告活动”为核心的事实表，关联“时间”、“地域”、“用户画像”、“广告素材”、“投放渠道”等多个维度表，为多维分析打下基础。 四、结语 在数据驱动的营销时代，高效的广告多维分析不再是大型企业的专利。
12410编辑于 2026-03-31- 来自专栏一臻数据
Doris聚合多维分析：让你的数据会说话，让数据更懂业务的艺术
Doris多维分析：让你的数据会"说话" 互联网行业里流传着这样一句话："数据分析就像是给企业装上了一双透视眼，而其维度层级决定视力好坏"。 Doris作为新一代高性能MPP数据库，提供了强大的多维分析功能。 这正是Doris多维分析的典型应用场景。 那么，Doris是如何支持高效的多维分析？ Doris的多维分析建立在三大核心技术之上：层次化聚合(ROLLUP)、全维度分析(CUBE)和自定义维度聚合(GROUPING SETS)。 通过研究Doris的多维分析特性，他发现了一个关键点：合理使用GROUPING_ID能显著提升查询效率。
73310编辑于 2024-12-24 - 来自专栏腾讯大讲堂的专栏
【腾讯微视】百亿数据、上百维度、秒级查询的多维分析场景的实践方案
查询的数据以周为单位，需要查询4周的数据，数据量达几百亿，因此每次查询都需要很长的时间（小时级），并且经常碰到查询超时的情况。当分析模型变动时，又得需要改动sql重新查询。 除此之外，希望在微信小程序查看多维分析报表，从数据中发掘出更多的价值。 因此急需建设一个多维分析平台，解决目前的业务痛点。 2. 4. 实现思路 4.1 分析树拆解 ? 首先我们来看一下一棵多维分析树是如果查询数据的。上面是一棵多维分析树，m1代表指标，例如DAU、总时长等，D1代表维度，例如城市、首启方式等。 对于这棵树，转化成sql去查询数据，一次sql无法实现，只能多次查询才能取得结果，分为以下组合查询： (D0) (D1), (D2) (D1, D3), (D1, D4) (D1, D4, D5), 聚合层：解析多维分析树，拆分为多个cube，按照cube到聚合层查询数据，根据聚合指标的计算逻辑计算出指标绝对值，构造出一颗多维分析树。
2.4K20发布于 2021-03-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号