ClickHouse 存算分离架构探索

语句指定以某一个或多个字段作为分区字段，数据在磁盘上的目录结构类似如下形式： $ ls -l /var/lib/clickhouse/data/<database>/

drwxr-xr-x 2 test test 64B Mar 8 13:46 202102_1_3_0 drwxr-xr-x 2 test test 64B Mar 8 13:46 202102_4_6_1 drwxr-xr-x 2 test test 64B Mar 8 13:46 202103_1_1_0 drwxr-xr-x 2 test test 64B Mar 8 13: 基于 JuiceFS 的存算分离方案 因为 JuiceFS 完全兼容 POSIX，所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。 未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索存算分离的方向，让 ClickHouse 更好地识别和支持共享存储，实现集群伸缩时不需要做任何数据拷贝。

来自专栏腾讯云存储订阅

存算分离架构下的数据湖架构

日前，腾讯云高级工程师程力老师在 ArchSummit 全球架构师峰会上分享了存算分离架构下的数据湖架构。 针对存算分离架构带来的性能问题和数据本地性减弱问题，腾讯云的数据湖方案设计构建了新一代分布式计算端缓存层。 第二阶段：存算分离，存储、计算解耦 解耦计算和存储负载，系统负载均衡调度更加灵活，系统的资源利用率提高，节约成本，可以满足业务快速增长的需求。 二、云原生生态下的存算分离 腾讯云上的数据湖生态如上图所示， 数据湖底座：对象存储 COS； 云原生：serverless 架构，免运维； 数据共享：通过统一的对象存储 COS 作为弹性底座，结合三层加速器接入多种生态 以对象存储为底座的存算分离架构，腾讯云 COSN 对象⽂件系统接⼝： 实现了 HCFS 接⼝，全覆盖 HDFS ⼤数据计算应⽤； 实现了⽂件系统的扩展属性管理接⼝，允许⽤户对⽂件和⽬录设置 xAttr

3.4K30发布于 2021-05-28

来自专栏一臻数据订阅

数据架构新篇章：存算一体与存算分离的协同演进

导读 本文主要基于存算一体和存算分离架构的结果效应和架构自身来聊聊它们之间的故事。 一、前言 降本增效大环境下，存算分离架构如火如荼。 首先，先来简单了解两个架构的侧重点： 存算一体｜性能敏感型架构 存算分离｜成本敏感型架构 而大家所谈论的降本增效，是降本在前增效在后，先降本再考虑增效，故而降本才是真实的着重点！ 所以，这也是为什么，当下存算分离架构被追捧的主要原因。 以上是从存算一体和存算分离架构结果效应而言，接下来我们从架构本身来聊聊它们之间的故事。 四、Doris架构示例 那么，结合以上存储一体的概念和存算分离的定义而言，以Apache Doris的存算一体和存算分离架构为例： Doris 的整体架构由两类进程组成：Frontend (FE) 和 五、选型建议 基于上述的一些示例说明，数据架构中存算一体和存算分离的选择建议： 如果数据量较小，是不建议走存算分离架构，至少也得几十或百来T的数据规模再考虑存算分离。

1.9K12编辑于 2024-12-24

来自专栏数据库开发优化订阅

Milvus存算分离系列-2: target机制

前言无论是存算分离还是存算一体，client对于查询的正确性要求都是一致的，没有哪个客户会因为所谓的“架构优势”牺牲正确性，即使是ANN这样的‘近似查询’。 而对于存算分离的架构，由于“存”和“算”发生的进程是不同的，那么如何保证数据的完整性&&一致性就是一个相比于存算一体更复杂的问题。 本文从这个问题出发，介绍milvus是怎么在存算分离架构下保证查询数据的完整性，一致性和实时性的。 本文涉及到一些前置知识，如果对读者造成困惑，可以参考MrPresent-Han：Milvus 存算分离系列-1：milvus架构简介存算分离的难点：数据实时更新在讨论数据完整性之前，我们首先要明确数据实时更新带来的困难 Milvus是怎么在存算分离架构下保证数据实时可见&&数据完整性的？这个问题的答案有2点，第一是target机制，第二是存算双写。

67010编辑于 2023-09-17

应对仿真算力潮汐，构建“存算分离”混合云架构

突破算力瓶颈与数据合规限制作为国内首家同时拥有高性能云端训练和推理产品的AI芯片设计企业，燧原科技致力于成为人工智能算力基础设施领域的领军企业。 在推进第二代人工智能训练推理产品组合的过程中，企业面临着严峻的研发效能与架构挑战：●应对仿真算力潮汐：在芯片仿真验证阶段，算力需求呈现爆发式增长（潮汐效应），导致本地资源短缺，系统稳定性下降，急需提升算力供给的弹性与稳定性 ●严守数据合规底线：出于严格的合规要求，核心代码与大量数据必须保留在本地存储，无法全量上云，造成了算力扩容与数据安全的冲突。 实施“存算分离”混合云调度方案腾讯云联合速石科技，为燧原科技量身定制了**“存算分离”**的混合云解决方案，通过精细化的架构设计解决资源与合规的矛盾：●构建云端弹性算力池：利用云上弹性计算资源，结合专线连接本地数据存储 缩短任务运行时间与交付周期经过长达1个多月的稳定性测试，该混合云架构成功支撑了燧原科技的创新驱动型研发需求，实现了显著的效能提升（数据来源：腾讯云/速石科技）：●交付效率质变：完成服务器交付仅需2分钟；

28910编辑于 2025-12-22

来自专栏数据库开发优化订阅

Milvus存算分离系列-3: 存算双写

但是对于milvus这种存算分离+云原生的架构，如果新写入的数据要经过write-object storage再download的过程才能可查，那么且不说由于flushInterval太短造成的小文件问题 存算双读双读就是存储节点和计算节点都做查询再做结果合并，如下图， 存储节点的热数据和计算节点上synced数据之间没有交集，查询分2路分别查到hot_result和synced_result后进行合并， 2. 存算双写而双写意味着同一份数据，既写入存储节点，又写入计算节点。如上图所示，当查询发生的时候，query只需要发给计算节点，就能够得到完整数据。 Milvus的存算双写机制综上，无论是双写还是双读，存算分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手，介绍了milvus 通过存算双写保证数据实时可查的解决方案和整个双写流程。

84860编辑于 2023-09-17

来自专栏数据库开发优化订阅

Milvus 存算分离系列-1：milvus架构简介

前言存算分离是一个很火的话题，基本上各个数据库都说自己已经实现，或者即将上线存算分离的架构。但事实上对于不同类型的数据系统，如何定义“存”和“算”是不同的。 本系列会简介milvus的存算分离架构，结合具体问题场景聊一些作者对这个概念的看法。 Milvus 存算分离整体架构由于向量查询的“重索引”“重计算”特型， milvus的存算分离有两层含义：生成存储文件和查询计算的进程分离如下图，整个milvus的读写流程是：proxy将msg写入message ，查询发生的流程如下：proxy向QueryCoord询问Milvus Delegator分布，得知该collection的delegator在querynode2上proxy向querynode2发送 ，介绍了milvus的分布式架构。

1.6K30编辑于 2023-09-17

来自专栏腾讯云存储订阅

开始报名 | 存算分离架构下的数据湖架构

2021年4月25-26日，ArchSummit 全球架构师峰会 2021（上海站）将在上海·宝华万豪酒店举办，本次峰会设置了云原生容器化、业务架构、Flutter 一线实战、网关系统实践等 17 大专场 其中，由腾讯云高级工程师程力老师演讲的“存算分离架构下的数据湖架构”专题，已经开始报名啦！ 随着网络技术不断发展，存算一体的架构因其吞吐速度低、维护成本高、网络带宽利用率不足等原因，导致业务效率低下，已不再适用，存算分离架构应运而生。 存算分离架构解耦计算和存储负载，使系统的资源利用率提高，可以满足业务快速增长的需求。 腾讯云的数据湖方案中针对存算分离架构带来的性能问题和数据本地性的减弱，设计构建了新一代分布式计算端缓存层。

83310发布于 2021-03-25

来自专栏存内计算加速大模型订阅

存算架构优化：为大模型算力提升铺平道路

然而，大模型的高效运行离不开强大的算力支持，而存算架构的优化则是提升算力的关键所在。本文将探讨现有大模型对算力的需求以及RRAM架构优化如何为大模型的算力提升提供动力，为开发者提供一些实用的指导。 2、算力质变，存内计算打造 AI 时代引擎2.1、算力需求指数级增长，加速计算深度变革算力是设备通过处理数据，实现特定结果输出的计算能力。 但GPU搭载传统架构用于AI计算需耗费的大量功耗以及成本，使得科研界另辟蹊径，其中，存内计算近年来呼声日益高涨，较之传统计算架构提升上百倍的算力以及减少数据搬运，打破内存墙的低功耗特性，产业界更加看好存内计算作为 2.2、存内计算技术的潜力为了应对大模型对算力的巨大需求，存内计算技术提供了一种潜在的解决方案。存内计算技术的基本思想是将数据计算移动到存储器中，实现原位计算，消除带宽限制和数据传输成本6。 存内计算技术有望激发人工智能领域的下一波浪潮，目前，针对人工智能，特别是深度学习的，基于忆阻器的存内计算架构已经问世，以提升计算的能效，RRAM由于其非易失性和可变电阻特性，成为了存内计算（Computing-in-Memory

1.1K10编辑于 2024-05-14

来自专栏腾讯云数据库(TencentDB)订阅

【专家说】微众银行 TDSQL 存算分离架构探索

随着数据规模增长，原有存算一体架构面临业务连续性、资源利用和扩展性等挑战，促使微众银行进行存算分离架构革新。 存算分离架构：基于外置存储池，服务器作为计算节点，根据容量需求，决定挂载存储容量。 图4 存算一体架构 为什么微众会做存算分离架构探索？ 十年的发展，伴随着AI浪潮，数据洪流正在悄然形成新的挑战。 业务连续性挑战：存算一体架构下，服务器的单盘故障率较高，单台可用率约99.9%，服务器故障会触发数据库主备切换，造成业务抖动，给运维带来压力。 2. 全网环境将由多组数据库资源池组成，形成轻量化半集中式存算分离架构，既解决了存算一体的架构痛点，也避免了存储过于集中带来的整体风险。 图5 存算分离架构 五、存算分离架构的价值和挑战 业务价值及收益 业务连续性：外置专用存储池可用性99.999%，最多允许3块盘同时故障而不影响业务。

88511编辑于 2025-05-13

来自专栏CU技术社区订阅

存算一体 VS 存算分离 ，IT发展下的技术迭代

存算分离，现在已经成为云原生数据库的标配， 开始大规模流行。 作者 | 祁国辉 责编 | 韩 楠 纵观历史， 随着IT技术的发展， 到底是存算一体还是存算分离， 其实反复过很多次，让我们来简单回顾一下，数据库历史上几次大的架构变更。 云时代带来的新一代存算分离 随着公有云的快速发展， 按需付费的概念逐步深入人心，对大规模数据的分析也要求能做到按需供给，那么传统MPP这种存算一体的紧耦合架构，就没法满足用户的需求了。 另外， 网络技术和存储技术也飞速发展， 这时就自然带来新一代的云原生数据库的存算分离架构， 把数据库技术向前推进了一大步。 思考与未来展望 展望将来， 云原生分布式数据库的高速发展，必然带来计算、存储的分离，“存算分离”是当前网络技术发展和社会经济进步的时代产物，是最适合当前时代发展需求的一种架构。

2.7K20编辑于 2023-03-02

来自专栏科技云报道订阅

算力之后，“存力”上位

随着大模型参数量突破万亿级、训练数据迈向EB级，传统存储架构短板日益凸显。正如石油需要炼油厂，AI时代的数据亦需专属的“存储引擎”。 存力中心作为新型的数据基础设施，正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素：数据、算法和算力。 海量数据如指间流沙般“产而未采、采而未存”，其中蕴含的巨大价值最终消散于无形。作为AI时代的“燃料”，数据若存不下、用不好，再强的算力也如同无米之炊。 构建AI时代新型 “数据粮仓” 与算力聚焦在“算”不同，数据存力聚焦在“数”和“存”，是数据生产要素处理的综合能力体现，肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远，新型AI存储很可能是撬动人工智能时代杠杆的另一个支点，“以存强算”“以数助算”亦是弯道超车的重要落点。当AI产业具备扎实的存力底座，才能登高远眺，看见AI时代最美的风景。

41800编辑于 2025-06-19

来自专栏ClickHouse订阅

clickhouse 存算分离，云原生

图1：开源ClickHouse架构 但是，开源ClickHouse也有明显的不足之处：采用存算一体架构，计算与存储耦合。 存储与计算资源无法独立扩展。 云原生ClickHouse至少需要具备以下特征：采用存算分离架构，计算资源与存储资源独立扩展，按需付费；高效弹性，计算资源扩容时数据Zero-copy;计算资源池化，根据业务需求灵活编排计算资源；易运维 2. 云原生架构为了解决开源ClickHouse的痛点，腾讯云CDW-ClickHouse采用了全新存算分离架构，将服务分为元数据服务层、计算层 和存储资源层。 图2：云原生ClickHouse架构图 元数据服务层：元数据服务层包含集群管理节点clickhouse-admin 以及 元数据持久化存储。 云原生ClickHouse与开源ClickHouse有明显区别：开源ClickHouse云原生ClickHouse弹性效率极低，伴随资源浪费、停服时间长秒级弹性，实际受存量数据规模影响架构存算一体存算分离存储资源弹性扩容存储资源

4.1K60编辑于 2022-09-16

来自专栏大数据-BigData订阅

云原生架构下B站Flink存算分离的改造实践

Flink虽然是一个计算引擎，但是由于其stateful的特性，在很多计算场景下，对存储和io其实有比较强的诉求，因此实时的资源池，同时具备很强的存算能力。 两种资源池的整合，必然面临兼容性问题，考虑到大数据整体的存算分离发展趋势，我们尝试对Flink进行存算分离的改造，核心工作就是statebackend的远程化。 2. RemoteStateBackend 如需解决上面的痛点，一个是需要将State数据能实时的存储在远程服务中，减少Flink集群对磁盘的强依赖，实现存算分离，这一目的也正和云原生架构演进目标契合；另一个是 2) 存算分离 改用TaishanStateBackend后，带状态的Operator无需此节点机器拥有高性能磁盘，State数据均存储于远端的Taishan系统，这样使得Flink的container 机器减少了对磁盘的强依赖性，从而达到了存算分离的效果。

1.3K20编辑于 2023-05-03

从 ClickHouse 到 StarRocks 存算分离： 携程 UBT 架构升级实践

为应对不断增长的业务与性能需求，携程技术团队将 UBT 从 ClickHouse 迁移至 StarRocks 存算分离架构。 水平扩展：ClickHouse 采用存算一体架构，扩容时不可避免地涉及数据迁移，过程复杂且对集群稳定性带来影响，扩展弹性不足。 该架构既提升了资源利用率，避免资源浪费，又显著降低了存储成本，同时也保证了查询速度。例如，相比存算一体架构下的三副本冗余，存算分离模式仅需一份本地副本即可保障可靠性。 StarRocks 存算分离架构下，计算节点扩缩容不涉及实际数据的迁移，因此可以秒级完成，极致灵活，且对业务无任何干扰。在实际生产环境中，UBT 的一次扩缩容仅耗时约 5 秒。 展望未来，团队将继续推进存算一体集群向存算分离架构的迁移。同时，在湖仓查询层面，也将逐步从存算一体演进至存算分离，以进一步提升灵活性与扩展性。

29910编辑于 2025-10-18

来自专栏全栈程序员必看订阅

存算一体——后摩尔时代的AI芯片架构

存算一体，或存内计算，是指将传统冯诺依曼架构中以计算为中心的设计，转变为以数据存储为中心的设计，也就是利用存储器对数据进行运算，从而避免数据搬运产生的“存储墙”和“功耗墙”，极大提高数据的并行度和能量效率 由于以上存储墙和功耗墙两种瓶颈的存在，传统的冯诺依曼架构已经不再适应以大数据计算为主的AIoT场景，对于新型计算架构的需求因此应运而生。 2. (2) 近存储运算。 近存储计算的基本做法是将数据存储尽量靠近计算单元，从而降低数据搬运的延迟和功耗。目前，近存储运算的架构主要包括多级缓存架构和高密度片上存储。 由于卷积运算是深度学习算法的核心组成单元，因此存算一体非常适合深度学习。该架构彻底消除了访存延迟，并极大降低了功耗，是一种真正意义上的存储和计算的融合。 (2) 竞争格局 近几年，国内外涌现了多家存算一体初创企业。 国外比较有名的存算一体初创企业包括Mythic、Syntiant。另外，老牌巨头三星也基于HBM2 DRAM开发了其存算一体技术。

6.5K11编辑于 2022-10-04

来自专栏大数据生态订阅

Elasticsearch 存算分离功能 POC 方案

一、方案说明 此方案基于存算分离内核版本，评估ES存算分离版本的基础功能。 二、测试标准 项目 推荐 测试组件 Elasticsearch 测试基准 自定义语句 测试方法 1. 业务验证1~2T数据的沉降、集群开销 2. 2. 使用方式 存算分离特性需要在索引创建时选择打开或者关闭，不可动态修改。而下沉、卸载的时间都可以动态设置。 2.1. 存量索引切到存算分离 对于普通索引，可以按照下面的方式从普通索引转换到存算分离索引（不能从存算分离转换到普通索引） 对于自治索引或date stream，可以按照如下方法对后备索引逐个转换。 # 关闭索引，索引处于close状态不支持读写 POST ${index}/_close # 设置为存算分离类型, 主分片48小时卸载，副本24小时卸载 PUT ${index}/_settings

2.2K194编辑于 2023-11-03

存算分离是否真的有必要？从架构之争到 Doris 实战解析

引言：一场关于 “存与算” 的N年辩论 在数据库与大数据领域，“存算一体” 与 “存算分离” 的架构之争从未停歇。有人质疑：“存算分离真的有必要吗？本地盘性能难道不够？” Hadoop 早期架构 历史渊源：早期 IT 系统数据量小（如 1960 年代 IBM 大型机），单机即可满足存储与计算需求，天然形成存算一体架构。 典型代表如云原生数据库 Snowflake、Doris 存算分离模式。 Doris 存算分离架构 驱动力：数据量指数级增长、云计算弹性需求、成本精细化管控。 作为新一代实时分析型数据库，Apache Doris 同时支持存算一体与存算分离模式，成为架构灵活性的标杆： 存算一体模式 适用场景：开发测试、中小规模实时分析。 案例 云原生时代的架构革新，Apache Doris 存算分离如何实现弹性与性能双重提升 五、结论：没有绝对最优，只有最适匹配 存算分离并非 “万能解药”，存算一体也非 “过时产物”。

70610编辑于 2025-07-14

TDSQL-C存算分离架构破解传统MySQL性能与扩展瓶颈

应对海量数据与高并发场景的数据库架构升级 传统MySQL架构面临四大核心瓶颈：读写性能受限于Master-Slave架构，单条SQL响应时间较长；主从同步延迟严重，高并发写入场景下延迟显著；扩展效率低下 采用云原生存算分离架构实现性能突破 TDSQL-C通过计算与存储分离的云原生架构，采用三大核心技术方案： 日志即数据技术：仅传输redo log，整体IO减少60%以上，写入性能提升90%以上 辅导猫处理1000万师生数据时，查询效率提升100%（从3-5秒缩减至1-2秒），主从延迟降至毫秒级。 核桃编程承载每小时千万级写入和几十万级查询，从库延迟低于3毫秒，成本降低50%。 "TDSQL-C的存算分离架构解决了我们高并发写入场景下的从库延迟问题，成本降低50%以上" —— 核桃编程技术负责人undefined"秒级扩缩容能力让我们无需提前预约资源，轻松应对突发流量高峰" — 其Serverless架构支持0.25ccu到64ccu的无感弹性扩缩容，按实际使用量计费，帮助企业有效应对潮汐流量，降低运维复杂度。

13910编辑于 2026-04-05

Coze玩转ChatGPT-4，存算解决大模型算力

本篇文章将从费用和算力两个方面出发，先介绍一种免费使用ChatGPT-4的工具——Coze，再介绍可有效解决大模型算力需求的存算架构。 二．大模型算力及存算架构上一章节介绍了一种免费使用ChatGPT-4的工具，可以解决ChatGPT-4的费用问题，下面我将简单介绍ChatGPT-4引出的大模型算力需求，并介绍一种解决方案——存算架构。 图 45 传统冯•诺依曼架构示意图（2）存算架构的兴起存算一体化架构应运而生，如图46所示，它通过在内存中直接进行数据处理，极大地减少了数据在内存和处理器之间的传输需求。 相较于模拟存算，数字存算更具运算灵活性，可以通过对数字部分的调整适配各种场景，通用性较强，但是功耗更高。除了计算范式，存储器也是存算架构的关键因素。 本文介绍的Coze和存算架构仅是众多可行解决方案中的一种，市场上还存在许多其他工具和架构，它们同样能够有效应对这些挑战。

2.4K10编辑于 2024-05-14