- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA杂谈
架构师之路 - 存储架构
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。 存储分类 存储架构 从架构角度分类存储一般可以分为：集中式存储和分布式存储。 ） GlusterFS（文件） Ceph（块、文件、对象） 分布式存储架构 集中式存储一般使用商业软件且由厂家负责安装配置，我们这里主要讲一下分布式存储架构。 按照元数据的管理方式，存储架构可分为对称式和非对称式两种架构模式。 在对称式架构中每个节点的角色均等，共同管理和维护元数据，节点间通过高速网络进行信息同步和互斥锁等操作。 （元数据节点与存储节点分离） 接下来我们看看两种不同架构模式下的代表产品：FastDFS 和 swift。 FastDFS典型架构 ?
2.1K71发布于 2020-09-24 - 来自专栏存储知识
存储技术架构总览
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。 架构层： 在协议层，我们了解了存储设备是如何对使用者呈现数据的，再往上，我们需要考虑如何对各个服务器、机房、资源池进行管理，我们将这一层称为架构层，可分为集中式存储和分布式存储两种。 集中式存储是基于双控制器或多控制器架构的企业级存储系统，具有较强的纵向扩展能力和一定的横向扩展能力。集中式存储的特点有高可靠、高可用、高性能等。 分布式存储是采用分布式架构的存储集群，将数据分布在不同物理位置，并通过网络把它连接起来。 通过后端端口机头可以连接更多的存储设备。从这个角度来看该方式也可并入架构层。
1.8K20发布于 2021-11-03 - 来自专栏智能时刻
「存储架构」块存储、文件存储和对象存储(第1节)
这是因为即使不是所有的数据都存储在存储设备上，最重要的数据以及分析结果也会被存储在存储设备上。这将导致存储空间的需求增加。 是什么使对象存储更好地适应数据爆炸要理解对象存储所提供的好处，必须首先了解文件存储和块存储的旧概念，因为它们之间有很大的差异。 文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上，它将其存储作为网络文件系统公开。 存储应用程序然后决定数据块是否存储在系统中，以及存储在什么特定的磁盘或存储介质上。最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。 对象存储系统中的许多对象都存储在给定的存储磁盘上。在纯形式的对象存储中，“只能”保存一个文件(对象)的一个版本。如果用户进行了更改，相同文件的另一个版本将存储为新对象。
7.7K25发布于 2019-12-10 - 来自专栏暴走大数据
ClickHouse 数据存储架构优化
在今年年初我们对几份数据的存储架构进行了改造，记录一下改造过程。 二、改造 1、数据A （1）旧架构 ? （2）新架构 ? 这份数据是比较新接入的数据，所以从一开始的设计上就使用了比较新、完善的存储架构，例如已经是partition by day、使用SummingMergeTree引擎，所以对于不同粒度的数据直接多写来实现 这样子也省去了再在ch中存储这2个维度的数据。其实还是考虑到数据量太大，直接聚合风险比较高，所以才采用了层层聚合的模式。 这个存储架构的弊端就是中间过滤表就是多余的，占写入、占存储。 （2）新架构 之前的数据存储是直接存时间戳，现在把时间解析拆解，改成存储hour_in_12,hour,minute_in_5,minute这4个字段，并时间粒度由大到小按顺序创建索引。
1.9K20发布于 2020-08-28 - 来自专栏linjinhe的专栏
Linux 存储架构图
From Linux Storage Stack Diagram
3.3K20发布于 2018-10-10 - 来自专栏devops
【架构实战】数据加密架构：传输加密+存储加密
一、数据加密概述数据加密是保护数据安全的重要手段：加密场景：传输加密（HTTPS）存储加密（敏感数据）密钥管理二、传输加密1.HTTPS配置展开代码语言：JavaAI代码解释@ConfigurationpublicclassSSLConfig rsaService.generateKeyPair();//2.加密旧密钥的数据Map<Integer,String>encryptedKeys=newHashMap<>();//...使用新密钥加密旧密钥//3.存储新密钥 encryptedData)+":"+Base64.getEncoder().encodeToString(encryptedKey);}}八、总结数据加密是保护数据安全的基础：传输加密：HTTPS/TLS存储加密
14410编辑于 2026-04-11 - 来自专栏云计算D1net
混合云实现分层存储架构
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。 最后，归档存储层是最便宜的，但也最慢的系统，用于存储很少使用的数据。 在混合云中建立分层存储架构 在混合云中，主存储系统一般存放于私有云，如果应用也在私有云中的话。 该存储系统存储文件和应用程序的数据，并且应当是分层存储架构中性能最高的存储系统。 二级存储系统主要存放于公有云。 分层存储架构的优势和挑战 使用混合云的分层存储架构对企业有几个好处。首先，由于它建立了两个或三个不同价格和性能水平的存储系统，分层存储可以帮助开发人员和管理员创建应用程序特定的存储策略。 企业必须精心设计和规划他们的多层存储架构以及自动化过程。对系统进行测试以确保你的混合云分层存储系统是满足预期的。
3.7K60发布于 2018-03-26 - 来自专栏来自IT的我
存储核心架构瓶颈已被攻破
这不是第一次“换芯” 原因也很简单，存储系统被称为外部存储，作为一个独立设备提供数据存储集中存储共享，主机只要将数据交给外部存储系统，至于存储系统可靠、完整存储数据，就是专业存储的事情了。 信创存储“换芯”看似简单，就是一个处理器的更换，但是因为主流信创架构芯片生态的欠缺，以及标准化、通用性的不足，使得软件适配工作量会非常大，加上规模的限制，造成了信创存储系统成本居高不下，信创存储初期，几乎 据了解，如今主流信创架构芯片存在多种技术路线，有x86、MIPS，也有ARM体系，且大多数芯片更专注计算市场，对于外部存储关注不够，典型的如PCIe外部连接通道的数量，不能够满足信创存储的需要。 汪振浩透露：对于ARM架构处理器，如对华为鲲鹏处理器的支持，宏杉科技也在积极布局之中。 也因为长期技术创新能力的积累，面对困难，宏杉科技的选择了因地制宜，最大程度发挥信创架构芯片潜力和价值的策略。
71710发布于 2021-08-25 - 来自专栏桥路_大数据
【HDFS】系统架构与存储机制
系统架构与存储机制 HDFS系统架构 HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。 其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点 而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。 DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode
57710发布于 2021-09-10 - 来自专栏闲余说
架构设计 5-高可用架构之高可用存储架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第五部分，主要介绍高可用存储架构，分别介绍了双机架构和集群架构以及各种具体方案的优缺点和应用场景。 场景 主备复制是最常见也是最简单的一种存储高可用方案，几乎所有的存储系统都提供了主备复制的功能，例如 MySQL、Redis、MongoDB 等 主从复制 主机负责读写操作，从机只负责读操作，不负责写操作 主从复制架构中，从机提供读业务，如果主从复制延迟比较大，业务会因为数据不一致出现问题。 故障时需要人工干预。 场景 综合主从复制的优缺点，一般情况下，写少读多的业务使用主从复制的存储架构比较多。 分区 数据分区指将数据按照一定的规则进行分区，不同分区分布在不同的地理位置上，每个分区存储一部分数据，通过这种方式来规避地理级别的故障所造成的巨大影响 设计一个良好的数据分区架构，需要从多方面去考虑 数据量 成本较高，需要建设一个独立的备份中心 互备式：指每个分区备份另外一个分区的数据 设计比较复杂，各个分区除了要承担业务数据存储，还需要承担备份功能，相互之间互相关联和影响。
80220编辑于 2022-08-19 - 来自专栏智能时刻
【架构治理】在代码存储库中记录软件架构
本文介绍了如何将 Markdown 格式与模板一起用于架构文档。 带有 Markdown 的架构文档 与代码一起管理软件的架构设计和设计决策将为项目提供极大的便利。 】或者加QQ群【792862318】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 视频号【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。 知识星球向大咖提问，近距离接触，或者获得私密资料分享。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
2.6K20编辑于 2022-04-12 Apache Doris 数据存储架构深度解析
Apache Doris 作为一款高性能的 MPP 分析型数据库，其存储架构的设计直接决定了其在大规模数据场景下的查询效率、写入性能与运维灵活性。 本文将全方位深度解析 Doris 的数据存储机制，揭示其在工程实现中的设计与逻辑。 这种层级结构不仅是数据存储的基础，更是读写优化、副本管理、运维操作的核心载体。 五、总结：架构设计的 “OLAP 基因” Doris 的存储架构每一处取舍都紧扣 OLAP 场景的核心需求 ——海量数据下的快速分析： 查询快：通过索引过滤、列存裁剪、缓存加速，将响应时间控制在秒级甚至毫秒级 这套架构使得 Doris 在 TB 到 PB 级数据规模下，能够稳定支撑实时报表、用户画像、日志分析等典型 OLAP 场景，成为企业级数据分析的核心引擎。 往期推荐 Doris BE节点下线卡住？
1.1K10编辑于 2025-11-12- 来自专栏存储公众号：王知鱼
Dropbox EB级云存储架构解析
本文聚焦Dropbox如何通过键值存储、异地多活架构及仅追加写技术，构建达到4个9可用性、11个9持久性的EB级对象存储系统。 本文将深入解析其架构设计、核心组件协作机制及对存储介质（如SSD）的创新要求，为云存储与分布式系统设计提供参考。 整体概况 基于异地多活架构，构建高可用分布式存储服务，底层是键值 Blob 存储系统。 该系统保证了4个9的可用性，意味着系统运行时间非常高，故障时间极短。 键值 Blob 存储系统 的特点是什么？为什么会在云存储架构中被应用？ 一、键值Blob存储系统的特点 • 可变大小的数据、可变数量的项目、抽象引用，通过硬件实现可提高存储系统效率和性能。 二、在云存储架构中被应用的原因 • 像Twitter、Facebook等大规模Web应用程序都构建在键值存储之上，云存储架构可借鉴这种成功应用模式。
88610编辑于 2025-04-06 - 来自专栏IT大咖说
VMware vSAN 架构解析及存储策略
摘要 VMware vSAN 通过 vSphere 原生的高性能体系结构支持业界领先的超融合基础架构解决方案。 vSAN是 Software-Defined Data Center 的核心构造块。 借助 VMware 支持的超融合基础架构，您能够安全发展、降低 TCO 以及根据未来发展需求扩展规模。 vSAN概述 SDDC概述 在软件定义的数据中心内，整个基础架构都实现了虚拟化，并且数据中心完全由软件自动控制。vSphere是软件定义的数据中心基础。 但是并不是vSAN集群中的每个节点都需要本地存储，没有本地存储的主机仍可利用分布式数据存储。 vSAN组件及架构介绍 vSAN集群 VirtualSAN是一种集群功能。 vSAN的常见使用场景 带有Virtual SAN的vSphere支持多种使用情形，包括关键业务应用、虚拟桌面基础架构、测试和开发、第2层/第3层应用、备份和灾难恢复、管理集群、DMZ/隔离区、远程办公室
5.1K30发布于 2018-04-04 - 来自专栏前端知识开放麦
现代Web存储技术（四）：大型应用存储架构设计实战
：新闻应用数据量大，需要合理分配存储空间离线体验：确保核心功能在离线状态下可用性能优化：大量数据的读写不能影响用户体验数据同步：在线时及时更新内容，保持数据新鲜度2.存储架构设计2.1存储方案选择根据数据特性 ，我们采用分层存储策略：收起代码语言：JavaScript运行AI代码解释//存储架构配置constSTORAGE_CONFIG={//CacheAPI：静态资源和API响应cache:{static: ：显示存储使用情况提供清理选项自动清理策略6.5开发调试技巧ChromeDevTools：Application>Storage：查看所有存储Network>Offline：模拟离线状态Performance ：分析存储性能代码调试：收起代码语言：JavaScript运行AI代码解释//添加详细日志console.group('存储操作');console.log('操作类型:',operation);console.log ，我们看到了如何综合运用Web存储技术：CacheAPI处理静态资源和图片缓存IndexedDB管理结构化的业务数据OPFS存储大型视频文件ServiceWorker实现离线功能关键成功因素：根据数据特性选择合适的存储方案实现优雅的错误处理和降级策略注重性能优化和用户体验建立完善的数据管理机制这套架构可以支撑一个完整的离线优先
28820编辑于 2025-10-03 - 来自专栏devops
【架构实战】对象存储架构：从NAS到OSS的演进
一、NAS存储把我们逼上了绝路2019年，我们的文件存储用的是NAS（网络附加存储），所有服务器挂载同一个NAS目录。 二、对象存储架构2.1对比展开代码语言：TXTAI代码解释┌─────────────────────────────────────────────────────────────────┐│文件存储方案对比 log.info("文件删除成功:bucket={},key={}",bucket,objectKey);}catch(Exceptione){log.error("文件删除失败",e);}}}四、文件管理架构 坑3：存储成本失控大量过期文件没有清理，存储费用持续增长。解决：设置文件生命周期，定期清理过期文件。坑4：图片没有压缩直接上传原图，5MB的图片加载很慢。解决：上传时自动压缩，或使用图片处理服务。 思考题：你的系统用了什么文件存储方案？个人观点，仅供参考
2900编辑于 2026-06-22 数据湖如何重塑云存储架构
数据湖如何在大规模下重塑某机构的S3服务数据湖帮助将对象存储转变为现代数据基础设施中最重要的层之一。 “在活动期间，我们将探讨一项始于云存储的服务如何成为互联网时代，乃至如今AI时代的基础设施。”数据湖如何重塑云存储的角色数据湖的兴起改变了组织对存储架构的思考方式。 这种转变也扩展了构建在对象存储之上的工作负载类型。媒体处理管道、科学研究和大型分析越来越多地将S3视为应用程序架构的核心组件，而不仅仅是存储端点。 “像Hadoop S3A连接器这样的工具，允许Hadoop实际利用S3作为底层存储，这是一个巨大的变化，它使S3不仅仅是存储，开始作为其他数据应用程序的底层结构。”活动直播不要错过相关活动的报道。 嘉宾在活动报道期间，对话将反映S3如何成为驱动分析和AI的数据架构的支柱。(* 披露：相关活动报道的付费媒体合作伙伴。赞助商对内容没有编辑控制权。)FINISHED
22810编辑于 2026-04-06YashanDB的存储引擎架构及优势
本文聚焦于YashanDB存储引擎的架构设计，针对其多种部署模式、存储结构和事务控制机制进行深入技术剖析，旨在为数据库研发者和系统架构师提供技术参考，促进对YashanDB技术优势的理解和应用。 存储架构及部署形态YashanDB支持三种主要部署形态：单机（主备）部署、分布式集群部署和共享集群部署，每种形态的存储引擎针对不同的业务场景做了优化：单机部署采用主实例和备实例两台服务器实现，通过主备复制保障数据同步与高可用 这种多样化部署架构保证了YashanDB能灵活适配不同业务规模与性能需求，同时在存储资源分配和访问效率上显著提升。 多样化存储结构设计YashanDB通过HEAP、BTREE、MCOL和SCOL四种存储结构满足多样的数据访问模式：HEAP存储采用无序堆结构，随机写入高效，适用于在线事务处理（OLTP）的行存表，支持变长列原地更新和复杂行迁移机制 建议技术人员持续关注数据库领域的发展动态，深入理解存储引擎设计，以实现系统架构和应用的协同优化。
24710编辑于 2025-10-18- 来自专栏编程一生
架构视角-文件的通用存储原理
架构师是互联网行业高薪又紧俏的资源。成为架构师最基本的是设计能力。设计与设计的区别主要体现在两方面： 1，深度：要解决哪些问题？这个问题背后的根本问题是什么？还有什么问题没有发现？ 而做架构的基本功就是研究成熟成功的系统，并总结归纳为一种设计方法添加到自己的设计库中。 事情是这样的，对于高可用的很多设计、架构，静儿都在进行专利申请中，为了避免对公司造成影响和损失，暂时处于多想不说的阶段。 3.磁盘存储防止数据丢失。 4.更好的结构化可以提升存储和读取效率。 以上です。不解释。 总结 之前和同事聊天，同事说他们架构师基于原来的版本设计了一个非常完美的2.0方案。 这也是静儿想做架构并且可以很轻松的找到一个架构师职位，但一直都是在项目组内自己动手写代码的原因：一个旁观者想了解内部的痛点很困难。 前段时间大家纷纷剖析拼多多优惠券事件背后的技术问题。
80530发布于 2019-03-04 Pulsar存储计算分离架构设计之存储层BookKeeper（上）
一、前言 我们上文说过，Apache Pulsar 采用了一种典型的"存储计算分离"架构设计：消息内容持久化存储在 BookKeeper 分布式日志存储系统中，集群元数据由 ZooKeeper 协调服务统一管理 3.2 Pulsar的整体架构 在分布式消息系统中，消息从客户端传输至Broker节点后，需通过计算转换与路由决策最终持久化到Bookie存储集群。 值得注意的是： 角色分工：Bookie仅作为单机存储引擎，数据高可用性由Broker层保障 副本配置：单条消息的存储副本数支持动态配置 主流分发模式对比： 主从式串行分发 ✅ 架构简单，逻辑清晰 ❌ 写入延迟叠加 四、Bookie的架构设计 前面铺垫了这么多前置的知识，终于千呼万唤始出来Bookie的架构设计了。Bookie作为Pulsar的持久化存储的核心引擎，其设计充分考虑了高吞吐与低延迟的平衡。 Bookie数据存储架构： 在分布式存储系统BookKeeper中，Journal日志通过混合落盘机制实现了数据持久化与性能的平衡。
43410编辑于 2025-11-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号