- 综合排序
- 最热优先
- 最新优先
- 来自专栏CU技术社区
存算一体 VS 存算分离 ，IT发展下的技术迭代
存算分离，现在已经成为云原生数据库的标配， 开始大规模流行。 作者 | 祁国辉 责编 | 韩 楠 纵观历史， 随着IT技术的发展， 到底是存算一体还是存算分离， 其实反复过很多次，让我们来简单回顾一下，数据库历史上几次大的架构变更。 海量数据催生的存算一体 时间进入本世纪， 随着用户数据的快速膨胀， 用户对海量数据的分析需求越来越明显， 各行各业都在搭建自己的数据仓库和商业智能系统， 这时用户面临的最大挑战第一是成本， 第二是性能。 云时代带来的新一代存算分离 随着公有云的快速发展， 按需付费的概念逐步深入人心，对大规模数据的分析也要求能做到按需供给，那么传统MPP这种存算一体的紧耦合架构，就没法满足用户的需求了。 另外， 网络技术和存储技术也飞速发展， 这时就自然带来新一代的云原生数据库的存算分离架构， 把数据库技术向前推进了一大步。
2.6K20编辑于 2023-03-02 - 来自专栏一臻数据
数据架构新篇章：存算一体与存算分离的协同演进
导读 本文主要基于存算一体和存算分离架构的结果效应和架构自身来聊聊它们之间的故事。 一、前言 降本增效大环境下，存算分离架构如火如荼。 二、存算一体的概念 2.1 存算一体的过往 存算一体的概念形成，最早可以追溯到上个世纪70年代。 四、Doris架构示例 那么，结合以上存储一体的概念和存算分离的定义而言，以Apache Doris的存算一体和存算分离架构为例： Doris 的整体架构由两类进程组成：Frontend (FE) 和 本身存算分离架构实施比存算一体复杂许多，试错成本相对较高，还不如把时间拿去优化优化已有组件和数据建模体系，测试环境测测即可。 性能高要求，还得是走存算一体。 随着数据量的爆炸式增长，传统的存算一体架构逐渐显露出其局限性。例如，在面对大规模数据处理时，存算一体架构的资源固化使用可能导致资源的浪费和成本的增加。
1.7K12编辑于 2024-12-24 - 来自专栏数据库开发优化
Milvus存算分离系列-2: target机制
前言无论是存算分离还是存算一体，client对于查询的正确性要求都是一致的，没有哪个客户会因为所谓的“架构优势”牺牲正确性，即使是ANN这样的‘近似查询’。 而对于存算分离的架构，由于“存”和“算”发生的进程是不同的，那么如何保证数据的完整性&&一致性就是一个相比于存算一体更复杂的问题。 本文从这个问题出发，介绍milvus是怎么在存算分离架构下保证查询数据的完整性，一致性和实时性的。 本文涉及到一些前置知识，如果对读者造成困惑，可以参考MrPresent-Han：Milvus 存算分离系列-1：milvus架构简介存算分离的难点：数据实时更新在讨论数据完整性之前，我们首先要明确数据实时更新带来的困难 Milvus是怎么在存算分离架构下保证数据实时可见&&数据完整性的？这个问题的答案有2点，第一是target机制，第二是存算双写。
65710编辑于 2023-09-17 - 来自专栏数据库开发优化
Milvus存算分离系列-3: 存算双写
但是对于milvus这种存算分离+云原生的架构，如果新写入的数据要经过write-object storage再download的过程才能可查，那么且不说由于flushInterval太短造成的小文件问题 存算双读双读就是存储节点和计算节点都做查询再做结果合并，如下图， 存储节点的热数据和计算节点上synced数据之间没有交集，查询分2路分别查到hot_result和synced_result后进行合并， 2. 存算双写而双写意味着同一份数据，既写入存储节点，又写入计算节点。如上图所示，当查询发生的时候，query只需要发给计算节点，就能够得到完整数据。 Milvus的存算双写机制综上，无论是双写还是双读，存算分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手，介绍了milvus 通过存算双写保证数据实时可查的解决方案和整个双写流程。
81760编辑于 2023-09-17 - 来自专栏全栈程序员必看
存算一体——后摩尔时代的AI芯片架构
(3) 存算一体，即存储器本身的算法嵌入。 存算一体或者存内计算的核心思想是，通过对存储器单元本身进行算法嵌入，使得计算可以在存储器单元内完成。 存算一体芯片特性 前面我们提到，存算一体的核心思想，是通过在存储单元本身进行算法嵌入，具体来说，主要就是将AI模型的权重数据存储在内存单元中，然后对内存的核心电路进行设计，使得数据流动的过程就是输入数据和权重在模拟域做点乘的过程 由于卷积运算是深度学习算法的核心组成单元，因此存算一体非常适合深度学习。该架构彻底消除了访存延迟，并极大降低了功耗，是一种真正意义上的存储和计算的融合。 存算一体芯片现状 (1) 技术实现方式 根据存储期间的易失性分类，存算一体技术的实现方式大致可分为两种， 基于易失性、现有工艺成熟的SRAM、DRAM实现； 基于非易失性、新型存储器如相变存储器PCM (2) 竞争格局 近几年，国内外涌现了多家存算一体初创企业。 国外比较有名的存算一体初创企业包括Mythic、Syntiant。另外，老牌巨头三星也基于HBM2 DRAM开发了其存算一体技术。
6.2K11编辑于 2022-10-04 - 来自专栏量子位
存算一体为何是造芯新方向？｜对撞派 x 知存科技
量子位智库 发自 凹非寺 量子位 ｜ 公众号 QbitAI 新型存算一体架构如今已成为学术界与产业界的热门话题之一，近年来学术界有关存算一体的研究成果不断涌现。 6月29日晚上19:00，“存算一体芯片”系列对谈节目第二期「量子位·对撞派」邀请到国内最早入局存算一体的公司——知存科技，将由知存科技的创始人兼CEO王绍迪为我们分享~ 对存算一体芯片感兴趣的小伙伴 ，可以扫码或点击下方预约按钮预约直播、接收微信开播提醒噢～ 关于知存科技 存算一体领域国际领航者 10年存算一体研发经验，在存内计算和近存计算领域国际领先 获得累计6亿元投资，包括哈勃、中芯聚源、讯飞投资 、深创投、国投创业、普华资本、招商局 One More Thing 在存算一体芯片领域，智库后续还会推出深度报告与金句视频。 欢迎扫码添加小助手，进入垂直社群： 如果您深耕于存算一体芯片领域，欢迎扫码添加分析师进行深度讨论与交流。 关于量子位智库： 量子位旗下科技创新产业链接平台。
34620编辑于 2022-06-29 - 来自专栏科技频道
全球首个RISC-V存算一体标准研制工作启动
微纳核芯在RISC-V存算一体产业论坛暨应用组启动大会上介绍的3D-CIM（三维存算一体）技术，与开源灵活的RISC-V架构深度融合，正成为突破困境、推动国产芯片迭代的核心路径。 2.三维存算一体技术可破局作为对上述芯片行业痛点的回应，9月9日，杭州微纳核芯首席科学家叶乐教授在RISC-V存算一体产业论坛暨应用组启动大会上，作了关于《三维存算一体3D-CIM：赋能RISC-V AI 三维存算一体技术的核心突破在于SRAM存算一体设计，通过将计算单元与存储单元融合，在存储器内原位完成张量计算（AI场景中占比99%的计算任务），能大幅提升算力密度。 3.三维存算一体技术的生态与应用前景此外，开源、灵活的RISC-V架构可以与三维存算一体技术形成天然互补。 作为RISC-V存算一体应用组组长单位，微纳核芯正联合产业链上下游企业，推动三维存算一体技术与RISC-V架构的生态化落地。微纳核芯把三维存算一体技术的应用前景分为短期、中期和长期。
44210编辑于 2025-10-12 - 来自专栏IT创事记
打破存算一体桎梏：华为微存储开创Diskless新纪元
目前，云和互联网数据中心普遍采用存算一体的架构，基于“开源软件+通用服务器”搭建存储系统，服务器上的多样化处理器和数据生命周期不一致，计算和存储资源无法独立规划扩展——存储系统被迫跟随计算体系的节奏进行更新换代或数据迁移 更值得关注的是，为了追求可靠性，很多云和互联网数据中心只好使用3副本保证数据安全，机柜空间浪费高达67%，建设成本和能耗大幅提升；在HPC（高性能计算）场景，元数据规模大、存储性能要求高，服务器本地盘需存算等比扩容 是否可以打破存算一体的桎梏，让存储系统根据客户需求相对独立地发展？能否摆脱硬盘介质的束缚，找到一条更加灵活、轻盈的存储路径？ 云厂商很快发现，在算力上挖掘资源潜力的既有做法已遇到瓶颈，存储成为最大的短板，存算一体衍生的众多难题无法破解。 面对存储痛点，整个业界都在积极探索突围之道，存算分离、池化运行、共享应用等思路与做法逐渐浮出水面，“Computation on Diskless”（无盘计算）成为新的目标。
80110编辑于 2022-12-21 - 来自专栏科技云报道
“存算一体”是大模型AI芯片的破局关键？
但随着模型参数越来越大，芯片在提供算力支持上逐渐陷入瓶颈。 数据显示，在GPT-2之前的模型时代，GPU内存还能满足AI大模型的需求。 在相同算力下，AI部分能效比将有2-3个数量级的提升，更低散热成本，更高可靠性。 最后，成本更低 单位算力成本远低于传统计算芯片。 狭义上讲，这才是真正的存算一体，或者说，基于器件层面实现的存算一体才真正打破了存算分离架构的壁垒。 近些年来，学术界在存算一体的各个方面都进行了大量探索，提出了众多存算一体加速器架构，中科院微电子所、清华大学、斯坦福大学等单位制备出了存算一体芯片原型。 现阶段各厂商开发的存算一体芯片均基于自行定义的编程接口，缺乏统一的编程接口，造成了存算一体软件生态的分散，不同厂商开发的上层软件无法互相通用，极大的影响了存算一体芯片的大规模使用。
1.3K10编辑于 2024-01-10 - 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
但是 ，基于端侧设备在资源 、时延、成本、功耗等诸多因素的考虑 ，业界对存算一体芯片提出了苛刻的要求。因此， 存算一体介质与计算范式尤为重要。 、内存计算 、 存算融合 、存内计算 、存算一体等。 4.3 DRAM存算一体 基于 DRAM 的存算一体设计主要利用 DRAM 单元之间的电荷共享机制[33-34]。 第一种方案是利用辅助外围电路，跟上述SRAM 存算一体类似 ，如图 8(a)所示为一种典 型的可重构存算一体实现方案[35] ，其可以在存储应 用与存算一体应用之间进行切换。 端侧智能存算一体芯片概述[J]. 微纳电子与智能制造, 2019, 1(2): 72-82. GUO Xinjie, WANG Shaodi.
2.5K32发布于 2020-03-05 - 来自专栏数据猿
从存算分离到湖仓一体，StarRocks的创新永不止步！
从存算分离到湖仓一体， StarRocks的进化之路 在大数据生态中，StarRocks凭借其先进的技术和强大的性能，占据了独特的地位。那么，StarRocks有哪些独特的能力呢？ 然而，存算分离架构虽然有诸多好处，但因为访问远端存储比访问本地存储的延时要高很多，这通常会带来一些性能损失。 比如，在TPC-DS 1TB对比测试中，相对于存算一体架构，存算分离在导入延时会增加30%，查询总耗时增加3倍。 需要指出的是，存算分离不仅是一种技术上的创新，更代表了对数据处理理念的根本性转变。 湖仓一体 在存算分离基础上，StarRocks 3.0的另一大创新是湖仓一体化。
78410编辑于 2023-12-01 - 来自专栏数据猿
从存算分离到湖仓一体，StarRocks的创新永不止步！
从存算分离到湖仓一体， StarRocks的进化之路 在大数据生态中，StarRocks凭借其先进的技术和强大的性能，占据了独特的地位。那么，StarRocks有哪些独特的能力呢？ 然而，存算分离架构虽然有诸多好处，但因为访问远端存储比访问本地存储的延时要高很多，这通常会带来一些性能损失。 比如，在TPC-DS 1TB对比测试中，相对于存算一体架构，存算分离在导入延时会增加30%，查询总耗时增加3倍。 需要指出的是，存算分离不仅是一种技术上的创新，更代表了对数据处理理念的根本性转变。 湖仓一体 在存算分离基础上，StarRocks 3.0的另一大创新是湖仓一体化。
1.3K10编辑于 2023-12-01 - 来自专栏科技云报道
算力之后，“存力”上位
当算力芯片的摩尔定律逐渐逼近物理极限，存力开始从幕后走向台前，成为AI领域下一个关键赛点。 长期以来，伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战，数据奔流，价值却困于“堰塞湖”。 存力中心作为新型的数据基础设施，正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素：数据、算法和算力。 海量数据如指间流沙般“产而未采、采而未存”，其中蕴含的巨大价值最终消散于无形。作为AI时代的“燃料”，数据若存不下、用不好，再强的算力也如同无米之炊。 构建AI时代新型 “数据粮仓” 与算力聚焦在“算”不同，数据存力聚焦在“数”和“存”，是数据生产要素处理的综合能力体现，肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远，新型AI存储很可能是撬动人工智能时代杠杆的另一个支点，“以存强算”“以数助算”亦是弯道超车的重要落点。当AI产业具备扎实的存力底座，才能登高远眺，看见AI时代最美的风景。
37000编辑于 2025-06-19 - 来自专栏Juicedata
ClickHouse 存算分离架构探索
语句指定以某一个或多个字段作为分区字段，数据在磁盘上的目录结构类似如下形式： $ ls -l /var/lib/clickhouse/data/<database>/
drwxr-xr-x 2 test test 64B Mar 8 13:46 202102_1_3_0 drwxr-xr-x 2 test test 64B Mar 8 13:46 202102_4_6_1 drwxr-xr-x 2 test test 64B Mar 8 13:46 202103_1_1_0 drwxr-xr-x 2 test test 64B Mar 8 13: 基于 JuiceFS 的存算分离方案 因为 JuiceFS 完全兼容 POSIX，所以可以把 JuiceFS 挂载的文件系统直接作为 ClickHouse 的磁盘来使用。 未来 JuiceFS 也会与 ClickHouse 社区紧密合作共同探索存算分离的方向，让 ClickHouse 更好地识别和支持共享存储，实现集群伸缩时不需要做任何数据拷贝。
1.4K20编辑于 2021-12-10来自专栏ClickHouseclickhouse 存算分离，云原生
图1：开源ClickHouse架构 但是，开源ClickHouse也有明显的不足之处：采用存算一体架构，计算与存储耦合。 存储与计算资源无法独立扩展。 云原生ClickHouse至少需要具备以下特征：采用存算分离架构，计算资源与存储资源独立扩展，按需付费；高效弹性，计算资源扩容时数据Zero-copy;计算资源池化，根据业务需求灵活编排计算资源；易运维 2. 云原生架构为了解决开源ClickHouse的痛点，腾讯云CDW-ClickHouse采用了全新存算分离架构，将服务分为元数据服务层、计算层 和存储资源层。 图2：云原生ClickHouse架构图 元数据服务层：元数据服务层包含集群管理节点clickhouse-admin 以及 元数据持久化存储。 云原生ClickHouse与开源ClickHouse有明显区别：开源ClickHouse云原生ClickHouse弹性效率极低，伴随资源浪费、停服时间长秒级弹性，实际受存量数据规模影响架构存算一体存算分离存储资源弹性扩容存储资源
4.1K60编辑于 2022-09-16来自专栏机器之心存算一体新进展：EPFL革命性芯片体系架构登上Nature
EPFL 芯片由二硫化钼（MoS_2）制成。MoS_2 是一种 2D 材料，由仅 3 个原子厚的单层组成。同时它也是出色的半导体材料。 使用 MoS_2 能够将多个处理功能整合到单个电路中，并根据需要进行更改。 下图 1（a）和 1（b）显示了这项研究所提到的浮栅内存结构及其侧视图。 金属表面粗糙度的降低减少了顶部隧穿氧化层（tunnel oxide）与 2D 通道交界处的电介质紊乱，提高了装置的性能和稳定性。 存算一体化，可能是突破 AI 算力瓶颈的关键技术。在业界，英特尔、Arm、微软等公司都已参与到该技术方向的投资，但因为技术的复杂性，目前人们还没有看到广泛获得应用的产品。 LANES 研究团队同时也具备利用 2D 材料制造电路的专业知识。
62920发布于 2020-11-13来自专栏大数据生态Elasticsearch 存算分离功能 POC 方案
一、方案说明 此方案基于存算分离内核版本，评估ES存算分离版本的基础功能。 二、测试标准 项目 推荐 测试组件 Elasticsearch 测试基准 自定义语句 测试方法 1. 业务验证1~2T数据的沉降、集群开销 2. 2. 使用方式 存算分离特性需要在索引创建时选择打开或者关闭，不可动态修改。而下沉、卸载的时间都可以动态设置。 2.1. 存量索引切到存算分离 对于普通索引，可以按照下面的方式从普通索引转换到存算分离索引（不能从存算分离转换到普通索引） 对于自治索引或date stream，可以按照如下方法对后备索引逐个转换。 # 关闭索引，索引处于close状态不支持读写 POST ${index}/_close # 设置为存算分离类型, 主分片48小时卸载，副本24小时卸载 PUT ${index}/_settings
2.1K194编辑于 2023-11-03来自专栏Apache DorisApache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始，Apache Doris 开始支持存算分离模式，用户可以在集群部署时选择采用存算一体模式或存算分离模式。 从存算一体到存算分离在存算一体模式中，Apache Doris 整体由 Frontend（FE）和 Backend（BE）两类进程组成，其中 FE 节点主要负责用户请求接入、查询解析规划、元数据管理和集群管理等相关工作 在此我们分别对存算一体模式和存算分离模式进行了不同缓存下的性能测试，以 TPC-DS 1TB 测试集为例，主要结果如下：完全命中缓存时（即查询的所有数据均被加载进缓存中）存算分离模式与存算一体模式查询性能完全持平 1TB 测试数据集，在存算一体模式采用单副本的情况下，存算分离模式写入性能较存算一体模式分别提升了 20.05% 和 27.98%。 参考文档：存算分离2. 湖仓一体再进化尽管 Apache Doris 定位于实时数据仓库，在以往版本中一直不拘于数据仓库的能力边界，在湖仓一体方向持续发力。
84400编辑于 2024-10-17来自专栏音乐与健康一种基于存算一体技术的类脑声音定位方法(Music1978）
随着摩尔定律逐渐放缓，传统硬件平台难以满足实时定位场景中不断增长的算力需求。 近年来备受关注的存算一体类脑计算技术，能够大幅度减少数据在存储与计算单元之间的传输开销，有望突破存储墙瓶颈的限制，实现算力的大幅提升。 类脑存算一体声音定位示意图清华大学集成电路学院高滨副教授课题组利用忆阻器的连续电导调制特性，构建了一种基于忆阻器阵列的新型类脑计算系统，应用于声音定位任务：网络包含60个输入神经元和7个输出神经元，输入 图2. 受大脑机制启发，基于忆阻器阵列的声音定位网络硬件实现方案传统的忆阻器编程策略虽然能够大幅度降低在线训练的硬件开销，但是难以满足定位任务的精度需求。 基于忆阻器阵列的声音定位功能演示与硬件评估结果近期，该项工作的相关研究成果以“可在线学习的类脑存算一体声音定位系统”（Memristor-Based Analogue Computing for Brain-Inspired
17310编辑于 2025-11-01来自专栏深度学习与python性能追平存算一体！StarRocks 3.1 重磅发布，真正的云原生湖仓来了
新版本中，StarRocks 将影响性能表现的技术要素全部从存算一体架构引入到了存算分离架构，并针对云原生环境里的易用性、稳定性进行了一系列的优化。 在 3.0 版本之前，StarRocks 基于存算一体架构构建的产品能力其实已经非常强悍，但在存算分离架构越来越成为行业趋势的背景下，StarRocks 理性看待原有架构中存中的弹性不足、计算资源浪费等问题 现在的 StarRocks，在打开 Data cache 的情况下，存算分离架构与存算一体架构在查询性能、导入性能上都已基本持平。 毫无疑问，在存算一体架构分析型数据库领域“跑得最快”的 StarRocks，迁移到存算分离架构后，依然是那个让人熟悉的领跑者。 在打开 Data cache 的情况下，存算分离架构与存算一体架构在查询性能、导入性能上都已基本持平。
2K30编辑于 2023-09-08腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059
粤公网安备44030502008569号腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号