首页
学习
活动
专区
圈层
工具
发布

Apache Doris 多表 Join 架构与 ClickBench RTABench 实测对比

本文用ClickBench与RTABench两份权威基准的实测数据,结合Doris的执行引擎、CBO优化器、RuntimeFilter与Colocate/BucketShuffleJoin等架构机制,说明...背景:多表Join为什么是OLAP选型的分水岭单表宽表聚合(如固定维度的指标统计)多数引擎都能跑得动,真正拉开差距的是跨表关联:订单关联用户、商品、事件,维度表与事实表Join,星型/雪花模型上的即席查询...这类查询对优化器、执行引擎与数据分布策略的要求远高于单表扫描。本文用两组公开基准+架构拆解,说明Doris在这条线上的真实能力。...一、权威基准实测1.1ClickBench:多表分析场景快约10%ClickBench是面向分析型DBMS的公开基准,覆盖单表与多表分析场景。...DorisCBO已支撑大量生产多表场景,配合统计信息自动收集,多数星型/雪花模型查询可稳定选到较优计划,无需深度手工调优。Q2:RuntimeFilter对所有Join都有效吗?

22110
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    StarRocks 是什么? 一文了解(建议收藏)

    性能如何? 系好安全带,数据库知识分享发车了。 一、StarRocks 是什么?...在 StarRocks 中可以选择多种数据模型,如预聚合、宽表或灵活性较高的星型/雪花模型。 同时,可以借助 Iceberg、Hive、Hudi 外表功能构建一套湖仓一体的架构。...StarRocks 同步和异步物化视图均支持智能的透明改写,可以按需灵活创建和删除,在查询时无需修改 SQL,自动进行改写,性能及体验俱佳。...四、性能对比测试 SSB 单表场景性能测试:StarRocks、ClickHouse 和 Druid 在标准测试数据集的 13 个查询上,StarRocks 整体查询性能是 ClickHouse 的 2.1...来源:https://docs.starrocks.io/zh/docs/benchmarking/SSB_Benchmarking/ TPC-H 基准测试:StarRocks Hive 外表和 Trino

    11.5K10

    面向 Agent 的高并发分析:Doris vs. Snowflake vs. ClickHouse

    其中SSB-FLAT是一个纯宽表基准测试,而SSB和TPC-H则是包含了表连接的复杂查询测试。...SSB-FLATSSB-FLAT旨在衡量系统查询单张宽表的能力。在该基准测试中,SSB中所有表被转换为一个非规范化的扁平表,且不涉及连接操作。...SSB专为评估数据库对星型模型的查询优化能力而设计。该基准结构简明,包含四个查询集、四个维度表和一个简单的汇总层次。...由于ClickHouse在当前测试中无法完整支持SSB所需的连接操作,未能产生有效可比结果,因此在图中将其结果设为0。TPC-HTPC-H是业界广泛采用的决策支持系统基准测试。...该方法充分利用现代CPU架构的优势,借助单指令多数据流(SIMD)操作和循环展开等技术,显著提高了CPU的数据处理效率。

    50200

    【天穹OS】虚拟表:支持极速查询的下一代湖仓一体新范式

    以上数据说明虚拟表也足以应对查询数据量在60亿级别的报表场景。6亿星型模型(多表JOIN)测试数据:说明:在虚拟表集群负载较低时,星型模型多表JOIN查询都在毫秒级,和主流OLAP有来有回。...60亿星型模型(多表JOIN)测试数据:说明:在虚拟表集群负载较低时,数据量翻10倍(60亿)星型模型多表JOIN查询都在毫秒级。...而且预计算的存储膨胀率也是很夸张的,一张表创建10张物化视图,这张表极限情况下存储成本可以翻10倍。最后用户在评估后手动淘汰掉一些利用率低的物化视图,管理成本也是很高的。那么有什么解法呢?...未来目标场景我们希望用户可以简单、易用、高效的使用天穹大数据,对接 SuperSQL + 虚拟表 就可以满足各类查询负载,且自适应平衡性能和成本。虚拟表如何使用?...如何理解湖仓一体?

    2.9K212

    Apache Doris 向量化执行与 CPU 性能优化:技术能力、选型对比与实践

    在SSB-Flat上性能提升近10倍,TPC-H上提升超过11倍,单SQL最高提速70倍。相比ClickHouse在SSB上快3倍、TPC-H快60倍,在实时更新场景快14-18倍。...Doris快3x无公开数据无公开数据TPC-H性能基准Doris快60x无公开数据Doris快4-6x25%更新率查询基准Doris快14xN/AN/A100%更新率查询基准Doris快18xN/AN/...A数据湖查询(TPC-DS1TB)基准无公开数据Doris快3x无公开数据内表查询基准无公开数据Doris快10x无公开数据JSON查询(JsonBench)基准Doris快2xN/AN/A并发混合负载调度...ARM架构下ClickBench提升230%,AWSGraviton4vsX86性价比提升53-65%ApacheDoris版本演进性能提升业务规模:SSBTPC-HTPC-DS标准基准测试采用方案:Doris1.2...A:ApacheDoris是高性能实时分析型数据库,基于MPP架构构建,支持PB级数据亚秒级查询。SelectDB是ApacheDoris的商业化公司,提供企业级支持和全托管云服务。

    39710

    VLDB 2024丨与 TiDB 一起探索数据库学术前沿

    然而,现有的 TQA 方法主要处理单表问题,而现实世界中的 TQA 问题通常涉及多个表格,这带来了扩展性的挑战。...AutoTQA 由五个智能体组成:用户智能体接收自然语言查询,规划智能体创建执行计划,工程师智能体执行计划,执行智能体提供执行环境,批判智能体评估结果。...,它结合了星型模式数据模型的优势和 TPC-H 基准测试的全面工作负载。...StarBench 解决了现有星型模式基准测试(SSB)中存在的数据缺失问题,利用了 TPC-H 的实用工具和工作负载,包括所有 22 个查询和刷新功能,为 TPC-H 提供了一个真正的扩展,并为数据库提供了一种新的方式来处理相同的数据...该基准测试可以用于比较数据仓库中广泛使用的星型模式,评估它们在一系列分析查询中的性能。StarBench 为评估如 TiDB 等数据库系统在星型模式下的性能提供了一个全面和标准化的基准测试框架。

    60610

    Pilosa使用入门

    使用方式 pilosa import 我们以官方的一个例子来介绍如何使用Pilosa的import命令将普通的数据导入到Pilosa中进行查询,这个名为“Star Trace”的示例,统计了1000个github...,即Star Schema Benchmark(以下简称SSB),这是一个数据库查询性能的测试,涉及到的都是零售相关的表,是一个典型的星型模式,各个表之间的关系如下所示: 图中一共有5张表,我们在关系表中可以直接使用...来构造SSB测试的Pilosa版本,详细过程这里就不再赘述,可以参考官网介绍:Pilosa的零售分析和SSB基准测试。...由于Pilosa无法跨index进行交叉查询,因此我们将SSB数据导入的时候,会将相关的字段都放到一个index中,所以在最开始的时候,就提到了,index跟传统关系表的含义也不完全一样。...事实证明,Pilosa对于这种星型模式还是非常适合的,但是我们通过上述例子可以看到,对于某个实际使用场景,我们需要设计相应的模型,并定义好相应的字段,然后将数据导入到Pilosa中,才能进行正常的查询分析

    1.2K70

    【TBase开源版测评】Hello, TBase

    关于星型模型 SSB(Star Schema Benchmark)是一个经典的基于现实商业应用的数据库模型,业界公认的一个OLAP的测试标准。...SSB基准测试包括: 事实表:lineorder 维度表:dates, customer,part, supplier 涉及了多个纬度的数据库查询能力的反馈,它能很好的展现出数据库在分析上的能力,所以我们依托与它的数据来产出数据...关于星型模型的具体使用方式可以参考如下链接:Star Schema Benchmark,SSB生成的数据是CSV格式的,这部分可以通过copy命令导入TBase。...一起来看看TBase的表现吧: 我们以SSB的Query 1.1作为基准,将这个查询做一个小的修改,改为查询发生在1992年一月的所有订单,所以我们执行以下查询: postgres=# explain...SSB之中,除了Order表作为事实表较为庞大之外,其他的维度表都可以作为复制表存在,所以我们来试一试这个功能。

    3.4K8875

    Doris 能承接 Snowflake 的哪些场景:可迁移范围与建议保留的能力

    在实时分析、高并发BI、成本敏感型报表、JSON半结构化、标准SQL多表关联这几类场景,ApacheDoris已经能完整承接,且有官方真实迁移与基准佐证:Planet从Snowflake迁到Doris后月度成本降约...在ApacheDoris官方Agent高并发基准中,同构128核、JMeter压测下,Doris在SSB-FLAT50并发的QPS比Snowflake高7.39倍(10并发6.38倍、30并发7.28倍...);SSB星型连接50并发高5.17倍。...展开代码语言:TXTAI代码解释--读写/读读隔离:增加计算组无需数据迁移ALTERSYSTEMADDCOMPUTEGROUPcg_olap;USE@cg_olap;```###3.3成本敏感型报表:同构基准数量级占优在...看场景与基准。官方同构测试中:Agent高并发QPS高7.39倍(SSB-FLAT50并发)、JSON快2–5倍、TPC-H性价比约50倍;真实客户Planet4.75亿行查询最高快90倍。

    12600

    Apache Doris Data Agent 解决方案:开启智能运维与数据治理新纪元

    具体从两个方面评估:技术架构方面:仅支持 Stdio + SSE 模式部署,这种单一部署方式严重限制了其在复杂企业环境中的适用性。...Doris MCP Server 0.5.1Apache Doris 2.1.10数据库表:SSB 星型基准测试集为了方便用户快速体验 Doris Data Agent,我们提供了与教程一致的 DSL...步骤一:环境准备1.1 安装 Apache Doris MCP Server# 环境说明:Python 3.12+,Dify 1.6.0,Apache Doris 2.1.10# 数据库表:SSB 星型基准测试集...Agent3.1 创建新的 Agent 应用在 Dify 中点击“工作室” -> “创建空白应用”选择“Agent”类型命名为“Doris 智能运维及数据治理助手”3.2 配置 Agent 基本信息#...,重点关注今日新增数据”6.2 数据异常告警配置异常检测规则,当发现问题时自动告警:"检测到ssb数据库中订单明细表数据异常,请立即分析原因并提供解决方案"6.3 性能优化建议定期进行性能分析和优化建议

    1.6K10

    SQL Stream Builder概览

    SSB的主要功能 Cloudera中的SQL Stream Builder(SSB)支持与Flink、Kafka作为虚拟表接收器和源的现成集成。...流式SQL控制台 SSB带有一个用户界面,使您可以在一个地方轻松创建和管理SQL作业。 ? 虚拟表 SSB使用您在SQL查询中指定的内容处理从源到接收器的数据。您也可以在网络浏览器中显示结果。...创建源或接收器后,可以为其分配虚拟表名称。该虚拟表名称用于寻址FROM查询中的表(源),并在界面中指定目标(接收器)。这使您可以针对流创建功能强大的聚合,过滤器或任何其他SQL表达式。...检测架构 SSB能够读取主题中的消息,识别消息的数据结构并将模式采样到UI。当您不使用架构注册表时,此功能很有用。...使用UI提交查询时,将在集群上创建Flink作业。通过Schema Registry下载与查询相对应的架构。Flink作业提交也填充了Kafka主题。

    2K30

    同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1:1TB SSB 与 TPC-H 性能实测

    分析型数据库的性能比较,最终还是要回到真实 Query 和实际运行数据。...目前已经完成 SSB、SSB-Flat 和 TPC-H 三组测试(TPC-DS 测试仍在进行中,后续将单独公布)。...SSB-Flat:宽表场景总耗时降低 10.7%我们进一步测试了 SSB-Flat。...相比标准 SSB 的星型模型,SSB-Flat 将数据组织为宽表,可以减少运行时的关联操作,也是 OLAP 系统中非常典型的一类数据建模方式。...一个比较有意思的现象是,相比标准 SSB,进入 Flat 宽表模式后,两套系统的整体性能差距有所缩小。但 Doris 仍然在多数 Query 上取得更低的查询耗时,并最终获得约 11% 的总耗时优势。

    17210

    从 StarRocks 走向 Apache Doris:如何实现引擎平滑替换与架构升级?

    本文将深度融合“引擎直接替换”与“业务边界收敛”两大维度,并结合1TB规模性能基准测试数据,系统化拆解从StarRocks迁移至ApacheDoris的完整SOP与避坑指南。一、为什么迁移?...我们在相同硬件配置(1FE+3BE,32vCPU/128GiB)和相同测试协议下,基于Doris4.2与StarRocks4.1.1进行了1TB规模(SF1000)的基准测试:Benchmark(SF1000...)StarRocks4.1.1ApacheDoris4.2性能表现与业务含义SSB星型模型19,566ms14,779ms总耗时降低24.5%(13条Query中10条更优,多表JOIN提升明显)SSB-Flat...二、架构差异盘点:平滑迁移的兼容性评估得益于“技术同源”,大多普通明细表(Duplicate)与聚合表(Aggregate)的DDL和SQL能够高比例复用,但独立演进带来的细节差异仍需关注:维度StarRocksApacheDoris...四、迁移实战四步法(标准SOP)Step1:结构迁移(批量提取与建表改写)可以通过遍历StarRocks的information_schema获取库表清单,批量导出DDL并进行规则转换:展开代码语言:TXTAI

    21310

    从 StarRocks 走向 Apache Doris:如何实现引擎平滑替换与架构升级?

    本文将深度融合“引擎直接替换”与“业务边界收敛”两大维度,并结合1TB规模性能基准测试数据,系统化拆解从StarRocks迁移至ApacheDoris的完整SOP与避坑指南。一、为什么迁移?...我们在相同硬件配置(1FE+3BE,32vCPU/128GiB)和相同测试协议下,基于Doris4.2与StarRocks4.1.1进行了1TB规模(SF1000)的基准测试:Benchmark(SF1000...)StarRocks4.1.1ApacheDoris4.2性能表现与业务含义SSB星型模型19,566ms14,779ms总耗时降低24.5%(13条Query中10条更优,多表JOIN提升明显)SSB-Flat...二、架构差异盘点:平滑迁移的兼容性评估得益于“技术同源”,大多普通明细表(Duplicate)与聚合表(Aggregate)的DDL和SQL能够高比例复用,但独立演进带来的细节差异仍需关注:维度StarRocksApacheDoris...四、迁移实战四步法(标准SOP)Step1:结构迁移(批量提取与建表改写)可以通过遍历StarRocks的information_schema获取库表清单,批量导出DDL并进行规则转换:展开代码语言:SQLAI

    8600

    同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1:1TB SSB 与 TPC-H 性能实测

    文章转载自:野生数据人分析型数据库的性能比较,最终还是要回到真实Query和实际运行数据。...目前已经完成SSB、SSB-Flat和TPC-H三组测试(TPC-DS测试仍在进行中,后续将单独公布)。...SSB-Flat:宽表场景总耗时降低10.7%我们进一步测试了SSB-Flat。...相比标准SSB的星型模型,SSB-Flat将数据组织为宽表,可以减少运行时的关联操作,也是OLAP系统中非常典型的一类数据建模方式。这组测试中,Doris仍然有10/13条Query耗时更低。...一个比较有意思的现象是,相比标准SSB,进入Flat宽表模式后,两套系统的整体性能差距有所缩小。但Doris仍然在多数Query上取得更低的查询耗时,并最终获得约11%的总耗时优势。

    20410

    0877-1.6.2-SQL Stream Builder(SSB)概述

    由于SSB与Flink集成,你可以借助Flink的能力选择exactly-once处理,使用event time处理数据流,使用savepoint保存作业,根据需求使用Flink SQL创建表以及使用各种...2.SSB主要功能 SQL Stream Builder (SSB) 与Flink集成是开箱即用的,使用Flink SQL从Streaming SQL Console或内置模板直接创建表,如果想与BI工具集成...•Built-in Templates SSB中的内置模板允许你简单快速的创建表,你只需要为模板设置连接和作业特定信息即可在 SSB 中使用它。...3.SQL Stream Builder架构 SQL Stream Builder (SSB) 服务集成进了Cloudera Data Platform (CDP) ,并可以连接到Flink服务。...SSB 架构包括 Streaming SQL Console、SQL Stream Engine 和 Materialized View Engine。

    1.6K20

    HashJoin性能优化: RuntimeFilter

    1.什么是RuntimeFilterHashJoin是关联查询中最重要的算子,对于计算密集型应用,关联查询的性能瓶颈主要在于HashJoin算子Probe阶段的Hash查找和Data Shuffle上。...分析型数据库中星型模型是常见的建模方法。比较有代表性的测试集就是SSB(Star Schema Benchmark)。...星型模型主要分为事实表和维度表,事实表一般是大表,比如SSB测试集中的lineorder表,维度表一般为小表,比如SSB测试集中的customer,date等。...这里的大表小表准确来说是指表的Distinct记录数。RuntimeFilter对于这类星型的数据模型下的复杂查询有非常大的提升作用。...如何生成RuntimeFilterRuntimeFilter是在优化器的CBO阶段之后插入物理计划中的。

    2.3K31

    当 FastGPT 遇见 Doris:无需手写 SQL,丝滑实现自助 ChatBI

    点击解析,FastGPT就会自动获取到所有可用的工具列表,然后点击确认创建即可。 接下来就是创建一个真正能与用户对话的AI应用。我们新建一个应用,起名叫Doris ChatBI。...最关键的一步是配置提示词Prompt,我们需要给这个AI应用设定一个角色,并告诉它如何使用我们刚刚创建的工具。一个好的Prompt应该包含角色定义、核心能力、工具使用策略等。...先问一个基础的信息查询问题:查询ssb数据库中有哪些表?...可以看到,它不仅正确地调用了get_db_table_list工具,返回了ssb库里所有的表和视图,还非常智能地根据SSB测试集的背景,对每个表的用途做出了推测。...我们再来看一个更复杂的分析类问题:在ssb数据库中过去十年的销售趋势如何,哪一年的增长速率最快? 这次,FastGPT展现了更强大的能力。

    99610
    领券