- 综合排序
- 最热优先
- 最新优先
- 来自专栏一臻数据
数据架构新篇章：存算一体与存算分离的协同演进
导读 本文主要基于存算一体和存算分离架构的结果效应和架构自身来聊聊它们之间的故事。 一、前言 降本增效大环境下，存算分离架构如火如荼。 所以，这也是为什么，当下存算分离架构被追捧的主要原因。 以上是从存算一体和存算分离架构结果效应而言，接下来我们从架构本身来聊聊它们之间的故事。 存算一体技术通过直接利用存储器进行数据处理或计算，将数据存储与计算融合在同一个芯片的同一区域，从而彻底消除了冯·诺依曼架构的瓶颈。 4.1 Doris存算一体 Doris在存算一体架构下，BE 节点上存储与计算紧密耦合，数据主要存储在 BE 节点上，多 BE 节点采用 MPP 分布式计算架构。 与存算一体架构之间并非是完全的替代关系，而是可以协同演进，共同为企业的数字化转型提供有力的支撑。 最后，Apache Doris 3.0大版本也在近期正式发布。
1.9K12编辑于 2024-12-24 - 来自专栏CU技术社区
存算一体 VS 存算分离 ，IT发展下的技术迭代
存算分离，现在已经成为云原生数据库的标配， 开始大规模流行。 作者 | 祁国辉 责编 | 韩 楠 纵观历史， 随着IT技术的发展， 到底是存算一体还是存算分离， 其实反复过很多次，让我们来简单回顾一下，数据库历史上几次大的架构变更。 云时代带来的新一代存算分离 随着公有云的快速发展， 按需付费的概念逐步深入人心，对大规模数据的分析也要求能做到按需供给，那么传统MPP这种存算一体的紧耦合架构，就没法满足用户的需求了。 另外， 网络技术和存储技术也飞速发展， 这时就自然带来新一代的云原生数据库的存算分离架构， 把数据库技术向前推进了一大步。 思考与未来展望 展望将来， 云原生分布式数据库的高速发展，必然带来计算、存储的分离，“存算分离”是当前网络技术发展和社会经济进步的时代产物，是最适合当前时代发展需求的一种架构。
2.7K20编辑于 2023-03-02 - 来自专栏Juicedata
ClickHouse 存算分离架构探索
基于 JuiceFS 的存算分离方案 因为 JuiceFS 完全兼容 POSIX，所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。 测试结果如下图： 可以看到 JuiceFS 与 SSD 盘的查询性能基本相当，平均差异在 6% 左右，但是对象存储相比 SSD 盘有 1.4 至 30 倍的性能下降。 在完成基础的查询性能测试以后，接下来测试冷热数据分离方案下的查询性能。区别于前面的测试，当采用冷热数据分离方案时，并不是所有数据都在 JuiceFS 中，数据会优先写入 SSD 盘。 展望 在当前越来越强调云原生的环境下，存储计算分离已经是大势所趋。 未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索存算分离的方向，让 ClickHouse 更好地识别和支持共享存储，实现集群伸缩时不需要做任何数据拷贝。
1.5K20编辑于 2021-12-10 - 来自专栏数据库开发优化
Milvus存算分离系列-3: 存算双写
但是对于milvus这种存算分离+云原生的架构，如果新写入的数据要经过write-object storage再download的过程才能可查，那么且不说由于flushInterval太短造成的小文件问题 存算双读双读就是存储节点和计算节点都做查询再做结果合并，如下图， 存储节点的热数据和计算节点上synced数据之间没有交集，查询分2路分别查到hot_result和synced_result后进行合并， 存算双写而双写意味着同一份数据，既写入存储节点，又写入计算节点。如上图所示，当查询发生的时候，query只需要发给计算节点，就能够得到完整数据。 Milvus的存算双写机制综上，无论是双写还是双读，存算分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手，介绍了milvus 通过存算双写保证数据实时可查的解决方案和整个双写流程。
84760编辑于 2023-09-17 - 来自专栏腾讯云存储
存算分离架构下的数据湖架构
日前，腾讯云高级工程师程力老师在 ArchSummit 全球架构师峰会上分享了存算分离架构下的数据湖架构。 针对存算分离架构带来的性能问题和数据本地性减弱问题，腾讯云的数据湖方案设计构建了新一代分布式计算端缓存层。 一、数据存储发展趋势 可分为4个阶段： 第一阶段：存算一体，孤岛 十几年前，网络速度远低于本地磁盘吞吐速度的时候，本地化读取数据可以换取更高的吞吐性能。 二、云原生生态下的存算分离 腾讯云上的数据湖生态如上图所示， 数据湖底座：对象存储 COS； 云原生：serverless 架构，免运维； 数据共享：通过统一的对象存储 COS 作为弹性底座，结合三层加速器接入多种生态 以对象存储为底座的存算分离架构，腾讯云 COSN 对象⽂件系统接⼝： 实现了 HCFS 接⼝，全覆盖 HDFS ⼤数据计算应⽤； 实现了⽂件系统的扩展属性管理接⼝，允许⽤户对⽂件和⽬录设置 xAttr
3.4K30发布于 2021-05-28 - 来自专栏ClickHouse
clickhouse 存算分离，云原生
图1：开源ClickHouse架构 但是，开源ClickHouse也有明显的不足之处：采用存算一体架构，计算与存储耦合。 存储与计算资源无法独立扩展。 随着云原生理念深入人心，利用云原生架构对开源ClickHouse进行改造，计算资源池化，存储与计算分离，势在必行。业界对云原生ClickHouse并没有明确的定义。 云原生ClickHouse至少需要具备以下特征：采用存算分离架构，计算资源与存储资源独立扩展，按需付费；高效弹性，计算资源扩容时数据Zero-copy;计算资源池化，根据业务需求灵活编排计算资源；易运维 云原生架构为了解决开源ClickHouse的痛点，腾讯云CDW-ClickHouse采用了全新存算分离架构，将服务分为元数据服务层、计算层 和存储资源层。 云原生ClickHouse与开源ClickHouse有明显区别：开源ClickHouse云原生ClickHouse弹性效率极低，伴随资源浪费、停服时间长秒级弹性，实际受存量数据规模影响架构存算一体存算分离存储资源弹性扩容存储资源
4.1K60编辑于 2022-09-16 - 来自专栏数据库开发优化
Milvus 存算分离系列-1：milvus架构简介
前言存算分离是一个很火的话题，基本上各个数据库都说自己已经实现，或者即将上线存算分离的架构。但事实上对于不同类型的数据系统，如何定义“存”和“算”是不同的。 本系列会简介milvus的存算分离架构，结合具体问题场景聊一些作者对这个概念的看法。 Milvus 存算分离整体架构由于向量查询的“重索引”“重计算”特型， milvus的存算分离有两层含义：生成存储文件和查询计算的进程分离如下图，整个milvus的读写流程是：proxy将msg写入message 在查询计算密集的时段，可以扩展QueryNode的数量&&资源，在写入压力较大的时候，可以扩展DataNode节点&&资源文件存储的位置和使用的位置分离另一个层面的存算分离，则是数据存储位置（obect requestdelegator收到request，将其转发给QueryNode1和QueryNode3上，获取所有segment得查询结果delegator汇总所有查询结果，返回给proxy总结本文从存算分离的角度
1.6K30编辑于 2023-09-17 应对仿真算力潮汐，构建“存算分离”混合云架构
突破算力瓶颈与数据合规限制作为国内首家同时拥有高性能云端训练和推理产品的AI芯片设计企业，燧原科技致力于成为人工智能算力基础设施领域的领军企业。 在推进第二代人工智能训练推理产品组合的过程中，企业面临着严峻的研发效能与架构挑战：●应对仿真算力潮汐：在芯片仿真验证阶段，算力需求呈现爆发式增长（潮汐效应），导致本地资源短缺，系统稳定性下降，急需提升算力供给的弹性与稳定性 ●严守数据合规底线：出于严格的合规要求，核心代码与大量数据必须保留在本地存储，无法全量上云，造成了算力扩容与数据安全的冲突。 实施“存算分离”混合云调度方案腾讯云联合速石科技，为燧原科技量身定制了**“存算分离”**的混合云解决方案，通过精细化的架构设计解决资源与合规的矛盾：●构建云端弹性算力池：利用云上弹性计算资源，结合专线连接本地数据存储 缩短任务运行时间与交付周期经过长达1个多月的稳定性测试，该混合云架构成功支撑了燧原科技的创新驱动型研发需求，实现了显著的效能提升（数据来源：腾讯云/速石科技）：●交付效率质变：完成服务器交付仅需2分钟；
28810编辑于 2025-12-22- 来自专栏大数据生态
Elasticsearch 存算分离功能 POC 方案
一、方案说明 此方案基于存算分离内核版本，评估ES存算分离版本的基础功能。 二、测试标准 项目 推荐 测试组件 Elasticsearch 测试基准 自定义语句 测试方法 1. 使用方式 存算分离特性需要在索引创建时选择打开或者关闭，不可动态修改。而下沉、卸载的时间都可以动态设置。 2.1. 存量索引切到存算分离 对于普通索引，可以按照下面的方式从普通索引转换到存算分离索引（不能从存算分离转换到普通索引） 对于自治索引或date stream，可以按照如下方法对后备索引逐个转换。 # 关闭索引，索引处于close状态不支持读写 POST ${index}/_close # 设置为存算分离类型, 主分片48小时卸载，副本24小时卸载 PUT ${index}/_settings data_stream/${自治索引名称}/_update { "settings":{ "index.store.type":"hybrid_storage" } } 动态设置后，后续新滚动的索引均为存算分离类型
2.2K194编辑于 2023-11-03 - 来自专栏大数据生态
Elasticsearch 存算分离技术浅析与最佳实践
那么这时候存储降本的方案就显得尤为重要，今天就和大家分享一下ES的存算分离方案。 一、快照备份原理浅析 ES的存算分离技术实现，是基于快照备份的功能，在快照的基础之上增加了可搜索的能力。 图片 与快照 A 关联的文件列表为：1、2、3、4。 2. 增量 / 差异备份 然后我们对ES中的数据做了一些修改，导致Lucene文件发生了一些变化。 图片 与快照 B 关联的文件列表为：2、3、4、5。 3. 删除历史快照 最后我们删除了快照 A。 图片 与快照 A 关联的文件是：1、2、3、4； 与快照 B 关联的文件是：2、3、4、5； 所以删除快照 A时，只有文件 1 可以被删除。 Q&A 1、删除历史快照会对增量快照造成影响吗？ 查过的数据通过 cache 提供与热数据一致的查询速度。 ?
3.5K8263编辑于 2023-07-14 - 来自专栏腾讯云存储
开始报名 | 存算分离架构下的数据湖架构
其中，由腾讯云高级工程师程力老师演讲的“存算分离架构下的数据湖架构”专题，已经开始报名啦！ 随着网络技术不断发展，存算一体的架构因其吞吐速度低、维护成本高、网络带宽利用率不足等原因，导致业务效率低下，已不再适用，存算分离架构应运而生。 存算分离架构解耦计算和存储负载，使系统的资源利用率提高，可以满足业务快速增长的需求。 但是，业务的快速增长又带来了业务多样性问题，业务间数据共享变得困难，而数据湖是一个集中式存储池，支持多种数据源，无缝对接各种计算分析和机器学习平台，实现数据处理与分析，打破数据孤岛。 腾讯云的数据湖方案中针对存算分离架构带来的性能问题和数据本地性的减弱，设计构建了新一代分布式计算端缓存层。
83310发布于 2021-03-25 - 来自专栏数据库开发优化
Milvus存算分离系列-2: target机制
前言无论是存算分离还是存算一体，client对于查询的正确性要求都是一致的，没有哪个客户会因为所谓的“架构优势”牺牲正确性，即使是ANN这样的‘近似查询’。 而对于存算分离的架构，由于“存”和“算”发生的进程是不同的，那么如何保证数据的完整性&&一致性就是一个相比于存算一体更复杂的问题。 本文从这个问题出发，介绍milvus是怎么在存算分离架构下保证查询数据的完整性，一致性和实时性的。 本文涉及到一些前置知识，如果对读者造成困惑，可以参考MrPresent-Han：Milvus 存算分离系列-1：milvus架构简介存算分离的难点：数据实时更新在讨论数据完整性之前，我们首先要明确数据实时更新带来的困难 Milvus是怎么在存算分离架构下保证数据实时可见&&数据完整性的？这个问题的答案有2点，第一是target机制，第二是存算双写。
67010编辑于 2023-09-17 - 来自专栏腾讯云数据库(TencentDB)
【专家说】微众银行 TDSQL 存算分离架构探索
随着数据规模增长，原有存算一体架构面临业务连续性、资源利用和扩展性等挑战，促使微众银行进行存算分离架构革新。 图3 TDSQL 赤兔管理平台界面 四、TDSQL 部署架构现状 及存算分离架构探索原因 TDSQL 部署架构现状 TDSQL 目前在行内主要有两种部署形态： 存算一体架构：基于服务器本地盘构建数据库架构 存算分离架构：基于外置存储池，服务器作为计算节点，根据容量需求，决定挂载存储容量。 图4 存算一体架构 为什么微众会做存算分离架构探索？ 十年的发展，伴随着AI浪潮，数据洪流正在悄然形成新的挑战。 全网环境将由多组数据库资源池组成，形成轻量化半集中式存算分离架构，既解决了存算一体的架构痛点，也避免了存储过于集中带来的整体风险。 图5 存算分离架构 五、存算分离架构的价值和挑战 业务价值及收益 业务连续性：外置专用存储池可用性99.999%，最多允许3块盘同时故障而不影响业务。
88311编辑于 2025-05-13 - 来自专栏数据库开发优化
Milvus存算分离系列-4: Delete之痛
Milvus的Delete之痛对于Milvus这种存算分离的向量数据库，删除操作的痛点比其他数据库更甚：向量索引的节点删除代价极大， update in place肯定不可接受。 存算分离的架构下，巨大的delete范围。由于milvus segment的生成/存储/使用的位置是分离的，分别是datanode, 对象存储和querynode。 总结本文从存算分离的视角出发，审视了milvus这一类架构下delete设计与实现的痛点，并介绍了针对这些痛点milvus采用的对策。
82420编辑于 2023-09-17 - 来自专栏一臻数据
【Apache Doris】3.0存算分离｜标准部署篇
导读 本文主要分享Apache Doris 3.0存算分离架构的标准部署实践。 一、前提概要 Doris 存算分离架构部署方式示意图如下，共需要 3 个模块参与工作： FE：负责接收用户请求，负责存储库表的元数据，目前是有状态的，未来会和 BE 类似，演化为无状态。 在存算分离架构下，数仓实例的节点构成信息由 Meta Service 维护（注册 + 变更）。FE、BE 和 Meta Service 交互以实现服务发现和身份验证。 创建存算分离集群主要涉及与 Meta Service 的交互，Meta Service 提供了标准的 HTTP 接口进行资源管理操作。 ，BE/FE 启停方式和存算一体模式下的启停方式一致。
2.6K11编辑于 2024-12-24 - 来自专栏全栈程序员必看
存算一体——后摩尔时代的AI芯片架构
存算一体，或存内计算，是指将传统冯诺依曼架构中以计算为中心的设计，转变为以数据存储为中心的设计，也就是利用存储器对数据进行运算，从而避免数据搬运产生的“存储墙”和“功耗墙”，极大提高数据的并行度和能量效率 目前，近存储运算的架构主要包括多级缓存架构和高密度片上存储。 (3) 存算一体，即存储器本身的算法嵌入。 由于卷积运算是深度学习算法的核心组成单元，因此存算一体非常适合深度学习。该架构彻底消除了访存延迟，并极大降低了功耗，是一种真正意义上的存储和计算的融合。 存算一体芯片现状 (1) 技术实现方式 根据存储期间的易失性分类，存算一体技术的实现方式大致可分为两种， 基于易失性、现有工艺成熟的SRAM、DRAM实现； 基于非易失性、新型存储器如相变存储器PCM (2) 竞争格局 近几年，国内外涌现了多家存算一体初创企业。 国外比较有名的存算一体初创企业包括Mythic、Syntiant。另外，老牌巨头三星也基于HBM2 DRAM开发了其存算一体技术。
6.5K11编辑于 2022-10-04 - 来自专栏大数据-BigData
云原生架构下B站Flink存算分离的改造实践
两种资源池的整合，必然面临兼容性问题，考虑到大数据整体的存算分离发展趋势，我们尝试对Flink进行存算分离的改造，核心工作就是statebackend的远程化。 2. RemoteStateBackend 如需解决上面的痛点，一个是需要将State数据能实时的存储在远程服务中，减少Flink集群对磁盘的强依赖，实现存算分离，这一目的也正和云原生架构演进目标契合；另一个是 2) 存算分离 改用TaishanStateBackend后，带状态的Operator无需此节点机器拥有高性能磁盘，State数据均存储于远端的Taishan系统，这样使得Flink的container 机器减少了对磁盘的强依赖性，从而达到了存算分离的效果。 现状与未来 目前B站从2022年11月初开始逐步切换了100+个线上带KeyState的任务，目前因增加了rpc网路开销导致整体资源使用有微量增加，但是基本已实现存算分离和加速任务rescale的目的，
1.3K20编辑于 2023-05-03 从 ClickHouse 到 StarRocks 存算分离： 携程 UBT 架构升级实践
为应对不断增长的业务与性能需求，携程技术团队将 UBT 从 ClickHouse 迁移至 StarRocks 存算分离架构。 水平扩展：ClickHouse 采用存算一体架构，扩容时不可避免地涉及数据迁移，过程复杂且对集群稳定性带来影响，扩展弹性不足。 早期 StarRocks 采用存算一体架构，计算与存储紧密耦合，本地数据访问带来极快的查询性能，通常可实现毫秒级返回。但这种模式也存在资源利用僵化、扩展负担过重、存储副本冗余带来高成本等问题。 该架构既提升了资源利用率，避免资源浪费，又显著降低了存储成本，同时也保证了查询速度。例如，相比存算一体架构下的三副本冗余，存算分离模式仅需一份本地副本即可保障可靠性。 展望未来，团队将继续推进存算一体集群向存算分离架构的迁移。同时，在湖仓查询层面，也将逐步从存算一体演进至存算分离，以进一步提升灵活性与扩展性。
29910编辑于 2025-10-18- 来自专栏大数据生态
「EMR 开发指南」之 Kylin 存算分离方案
在大数据领域，数据量持续增长，数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题，Apache Kylin应运而生。
58321编辑于 2023-11-29 StarRocks 存算分离在京东物流的落地实践
：业务查询峰值约 800+ RPS流量峰值：可达 500+ GB/s二、存算一体向存算分离演进2.1为什么需要存算分离尽管当前我们已构建了大规模的存算一体集群，但仍然需要向存算分离架构演进，主要基于以下几点考虑 云原生与弹性扩缩容采用存算分离架构，可顺势实现云原生部署，支持计算与存储的独立扩缩容。2.2 部署存算分离集群我们在内部采用 K8S 部署方式搭建存算分离集群，并依托京东云 JDOS 作为底层支撑。 由于存算分离架构涉及 OSS 访问瓶颈等因素，我们在存算分离表的 Sink 端默认采用较为宽松的批量缓冲与容错参数。 在该优化机制的支持下，存算分离集群的写入吞吐量基本与同等规模的存算一体集群保持一致。值得注意的是，该存算分离集群仅由 5 个节点组成，但依然能够支撑如此高负载的数据写入。 存算分离后，每 TB 的存储成本相比原存算一体架构降低 90%，主要得益于原架构基于本地 SSD，而存算分离利用了 对象存储（OSS），极大降低了存储开销。
55400编辑于 2025-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号