- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA杂谈
架构师之路 - 存储架构
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。 存储分类 存储架构 从架构角度分类存储一般可以分为：集中式存储和分布式存储。 ） GlusterFS（文件） Ceph（块、文件、对象） 分布式存储架构 集中式存储一般使用商业软件且由厂家负责安装配置，我们这里主要讲一下分布式存储架构。 按照元数据的管理方式，存储架构可分为对称式和非对称式两种架构模式。 在对称式架构中每个节点的角色均等，共同管理和维护元数据，节点间通过高速网络进行信息同步和互斥锁等操作。 （元数据节点与存储节点分离） 接下来我们看看两种不同架构模式下的代表产品：FastDFS 和 swift。 FastDFS典型架构 ?
2.1K71发布于 2020-09-24 - 来自专栏存储知识
存储技术架构总览
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。 架构层： 在协议层，我们了解了存储设备是如何对使用者呈现数据的，再往上，我们需要考虑如何对各个服务器、机房、资源池进行管理，我们将这一层称为架构层，可分为集中式存储和分布式存储两种。 集中式存储是基于双控制器或多控制器架构的企业级存储系统，具有较强的纵向扩展能力和一定的横向扩展能力。集中式存储的特点有高可靠、高可用、高性能等。 分布式存储是采用分布式架构的存储集群，将数据分布在不同物理位置，并通过网络把它连接起来。 通过后端端口机头可以连接更多的存储设备。从这个角度来看该方式也可并入架构层。
1.8K20发布于 2021-11-03 - 来自专栏智能时刻
「存储架构」块存储、文件存储和对象存储(第1节)
这是因为即使不是所有的数据都存储在存储设备上，最重要的数据以及分析结果也会被存储在存储设备上。这将导致存储空间的需求增加。 是什么使对象存储更好地适应数据爆炸要理解对象存储所提供的好处，必须首先了解文件存储和块存储的旧概念，因为它们之间有很大的差异。 文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上，它将其存储作为网络文件系统公开。 存储应用程序然后决定数据块是否存储在系统中，以及存储在什么特定的磁盘或存储介质上。最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。 对象存储系统中的许多对象都存储在给定的存储磁盘上。在纯形式的对象存储中，“只能”保存一个文件(对象)的一个版本。如果用户进行了更改，相同文件的另一个版本将存储为新对象。
7.7K25发布于 2019-12-10 - 来自专栏linjinhe的专栏
Linux 存储架构图
From Linux Storage Stack Diagram
3.3K20发布于 2018-10-10 - 来自专栏暴走大数据
ClickHouse 数据存储架构优化
在今年年初我们对几份数据的存储架构进行了改造，记录一下改造过程。 二、改造 1、数据A （1）旧架构 ? （2）新架构 ? 这份数据是比较新接入的数据，所以从一开始的设计上就使用了比较新、完善的存储架构，例如已经是partition by day、使用SummingMergeTree引擎，所以对于不同粒度的数据直接多写来实现 这样子也省去了再在ch中存储这2个维度的数据。其实还是考虑到数据量太大，直接聚合风险比较高，所以才采用了层层聚合的模式。 这个存储架构的弊端就是中间过滤表就是多余的，占写入、占存储。 （2）新架构 之前的数据存储是直接存时间戳，现在把时间解析拆解，改成存储hour_in_12,hour,minute_in_5,minute这4个字段，并时间粒度由大到小按顺序创建索引。
2K20发布于 2020-08-28 - 来自专栏iSharkFly
Confluence 6 附件存储选项 原
在早期的 Confluence 版本中，我们允许存储附件到 WebDav 或者 Confluence 数据库中。针对新的 Confluence 安装，我们不再支持这 2 种存储了。 数据库（已弃用） 在 Confluence 5.4 及其早期的版本，我们给了系统管理员存储附件到数据库中的选项，系统管理员可以在这些版本中配置附件的存储。 存储附件到数据库中可以带来一些好处（例如，可以更加容易的进行备份，避免文件系统中出现的字符集不支持的错误），但是请注意这种存储方式将会大大加大数据库空间的使用，随着时间的推移，你的数据库可能需要更多的存储空间 WebDav（已弃用） WebDav 在现在的存储中已经不是一个存储选项了，已经完全启用了。 https://www.cwiki.us/display/CONF6ZH/Attachment+Storage+Configuration
61630发布于 2019-01-31 - 来自专栏devops
【架构实战】数据加密架构：传输加密+存储加密
一、数据加密概述数据加密是保护数据安全的重要手段：加密场景：传输加密（HTTPS）存储加密（敏感数据）密钥管理二、传输加密1.HTTPS配置展开代码语言：JavaAI代码解释@ConfigurationpublicclassSSLConfig rsaService.generateKeyPair();//2.加密旧密钥的数据Map<Integer,String>encryptedKeys=newHashMap<>();//...使用新密钥加密旧密钥//3.存储新密钥 MaskingType.ID_CARD)publicStringmaskIdCard(StringidCard){if(idCard==null)returnnull;returnidCard.substring(0,6) encryptedData)+":"+Base64.getEncoder().encodeToString(encryptedKey);}}八、总结数据加密是保护数据安全的基础：传输加密：HTTPS/TLS存储加密
16010编辑于 2026-04-11 软件架构 6 个方面
所谓 “架构”，就是将软件的结构打好，然后在结构内按部就班的施工就好了。软件架构 6 个方面软件架构涉及六个维度，分别是 “稳定性”、“高性能”、“一致性”、“扩展性”、“观察性” 和 “安全性”。 没有最好的架构，只有合适的架构。合适的架构就是在对这些维度的平衡与取舍，以最大程度的支撑当前业务的运行。每个方面包含的内容稳定性，异步、调度、容错、隔离、熔断、限流、降级、故障恢复。 这也印证了 “架构是演化出来的，不是一蹴而就的。”可以说这个是 “架构” 的 “架构” 吧，以后只需要完善这个结构，往这个结构中不断添加工具、方法、经验就好了。
29910编辑于 2024-03-25- 来自专栏闲余说
架构设计 5-高可用架构之高可用存储架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第五部分，主要介绍高可用存储架构，分别介绍了双机架构和集群架构以及各种具体方案的优缺点和应用场景。 场景 主备复制是最常见也是最简单的一种存储高可用方案，几乎所有的存储系统都提供了主备复制的功能，例如 MySQL、Redis、MongoDB 等 主从复制 主机负责读写操作，从机只负责读操作，不负责写操作 主从复制架构中，从机提供读业务，如果主从复制延迟比较大，业务会因为数据不一致出现问题。 故障时需要人工干预。 场景 综合主从复制的优缺点，一般情况下，写少读多的业务使用主从复制的存储架构比较多。 分区 数据分区指将数据按照一定的规则进行分区，不同分区分布在不同的地理位置上，每个分区存储一部分数据，通过这种方式来规避地理级别的故障所造成的巨大影响 设计一个良好的数据分区架构，需要从多方面去考虑 数据量 成本较高，需要建设一个独立的备份中心 互备式：指每个分区备份另外一个分区的数据 设计比较复杂，各个分区除了要承担业务数据存储，还需要承担备份功能，相互之间互相关联和影响。
81620编辑于 2022-08-19 - 来自专栏云计算D1net
混合云实现分层存储架构
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。 最后，归档存储层是最便宜的，但也最慢的系统，用于存储很少使用的数据。 在混合云中建立分层存储架构 在混合云中，主存储系统一般存放于私有云，如果应用也在私有云中的话。 该存储系统存储文件和应用程序的数据，并且应当是分层存储架构中性能最高的存储系统。 二级存储系统主要存放于公有云。 分层存储架构的优势和挑战 使用混合云的分层存储架构对企业有几个好处。首先，由于它建立了两个或三个不同价格和性能水平的存储系统，分层存储可以帮助开发人员和管理员创建应用程序特定的存储策略。 企业必须精心设计和规划他们的多层存储架构以及自动化过程。对系统进行测试以确保你的混合云分层存储系统是满足预期的。
3.7K60发布于 2018-03-26 - 来自专栏码农知识点
zookeeper源码分析(6)-数据和存储
在Zookeeper中，数据存储分为两部分：内存数据存储和磁盘数据存储。本文主要分析服务器启动时内存数据库的初始化过程和主从服务器数据同步的过程。在此之前介绍一些数据存储涉及的基本类。 DataTree Zookeeper的数据模型是一棵树，DataTree是内存数据存储的核心，代表了内存中一份完整的数据(最新)，包括所有的节点路径，节点数据和ACL信息，对应watches等。 commitLogBuffer = 700; //todo protected LinkedList<Proposal> committedLog = new LinkedList<Proposal>(); 文件存储主要包括事务日志文件的存储和快照文件的存储 存储内容包括DataTree信息和会话信息。FileSnap提供了快照相应的接口，，主要包括存储、序列化、反序列化、访问相应快照文件。 5.应用事务 在循环过程中处理事务日志processTransaction,也就是根据事务日志类型不断的更新sessions 和DataTree中的数据内容 6.回调事务 回调listener.onTxnLoaded
2.2K10发布于 2020-06-22 - 来自专栏来自IT的我
存储核心架构瓶颈已被攻破
这不是第一次“换芯” 原因也很简单，存储系统被称为外部存储，作为一个独立设备提供数据存储集中存储共享，主机只要将数据交给外部存储系统，至于存储系统可靠、完整存储数据，就是专业存储的事情了。 信创存储“换芯”看似简单，就是一个处理器的更换，但是因为主流信创架构芯片生态的欠缺，以及标准化、通用性的不足，使得软件适配工作量会非常大，加上规模的限制，造成了信创存储系统成本居高不下，信创存储初期，几乎 据了解，如今主流信创架构芯片存在多种技术路线，有x86、MIPS，也有ARM体系，且大多数芯片更专注计算市场，对于外部存储关注不够，典型的如PCIe外部连接通道的数量，不能够满足信创存储的需要。 汪振浩透露：对于ARM架构处理器，如对华为鲲鹏处理器的支持，宏杉科技也在积极布局之中。 也因为长期技术创新能力的积累，面对困难，宏杉科技的选择了因地制宜，最大程度发挥信创架构芯片潜力和价值的策略。
73310发布于 2021-08-25 - 来自专栏桥路_大数据
【HDFS】系统架构与存储机制
系统架构与存储机制 HDFS系统架构 HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。 其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点 而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。 DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode
58110发布于 2021-09-10 - 来自专栏智能时刻
【架构治理】在代码存储库中记录软件架构
本文介绍了如何将 Markdown 格式与模板一起用于架构文档。 带有 Markdown 的架构文档 与代码一起管理软件的架构设计和设计决策将为项目提供极大的便利。 第 6 章中可以使用 C4 动态图或 UML 序列图。部署图可以使用 C4 或 UML 符号在第 7 章。 对于第 10 章，我们可以使用为架构权衡分析方法 (ATAM) 准备的表格。 】或者加QQ群【792862318】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
2.6K20编辑于 2022-04-12 - 来自专栏北亚数据恢复中心
RAID6存储断电数据恢复案例
本次分享的案例是由于机房突然断电导致整个存储瘫痪，加电后存储依然无法使用。经过用户方工程师诊断后认为是断电导致存储阵列损坏。 整个存储是由12块盘组成的RAID-6磁盘阵列，被分成一个卷，分配给几台Vmware的ESXI主机做共享存储。 将故障存储的所有磁盘和备份sss数据的目标磁盘连入到一台Windows Server 2008的服务器上。以底层方式读取扇区，发现了大量损坏扇区。初步判断可能是这种硬盘的读取机制与常见的硬盘不一样。 【RAID重组】 1、分析RAID结构：存储使用的是标准的RAID-6阵列，接下来只需要分析出RAID 成员数量以及RAID的走向就可以重组RAID。 2、分析RAID条带大小：整个存储被分成一个大的卷，分配给几台ESXI做共享存储，因此卷的文件系统肯定是VMFS文件系统。而VMFS卷中又有存放了大量的Windows 虚拟机。
1.3K20发布于 2021-09-27 - 来自专栏智能时刻
Envoy架构概览(6):异常检测
异常值检测和弹出是动态确定上游群集中的某些主机是否正在执行不同于其他主机的过程，并将其从正常负载平衡集中移除。 性能可能沿着不同的轴线，例如连续的故障，时间成功率，时间延迟等。异常检测是被动健康检查的一种形式。 特使还支持主动健康检查。 被动和主动健康检查可以一起使用或独立使用，形成整体上游健康检查解决方案的基础。 弹射算法 取决于异常值检测的类型，弹出或者以行内（例如在连续5xx的情况下）或以指定的间隔（例如在定期成功率的情况下）运行。 弹射算法的工作原理如下： 主机被确定为异常。 特使检查以确保弹出
1.3K60发布于 2018-04-09 - 来自专栏IT大咖说
VMware vSAN 架构解析及存储策略
借助 VMware 支持的超融合基础架构，您能够安全发展、降低 TCO 以及根据未来发展需求扩展规模。 但是并不是vSAN集群中的每个节点都需要本地存储，没有本地存储的主机仍可利用分布式数据存储。 vSAN组件及架构介绍 vSAN集群 VirtualSAN是一种集群功能。 组件使用以下技术进行分发：条带化（RAID 0）、镜像（RAID 1）、镜像加上条带化（通常称为RAID 10）、擦除编码（RAID5/6）。 创建的组件副本和副本的数量基于对象策略定义。 6、添加主机。 在现有集群中启用Virtual SAN 要在现有主机集群中启动Virtual SAN，除上述条件之外，还必须保证vSphere HA已禁用。 RAID 1镜像与RAID 5/6擦除编码 擦除编码可以大大节省镜像的容量，但擦除编码会在IOPS和网络带宽方面带来额外的开销。
5.1K30发布于 2018-04-04 - 来自专栏软件工程师Michael
.NET6实现简单数据存储
下面是一个使用.NET 6 实现简单数据存储（将数据存储到文本文件中）的示例代码。此示例使用System.IO命名空间来处理文件操作。 string dataToStore = "这是要存储到文件中的示例数据";：定义一个字符串变量 dataToStore，用于存储要写入文件的数据。 string filePath = "data.txt";：定义一个字符串变量 filePath，指定要存储数据的文件路径。这里使用的是相对路径，文件会存储在项目的运行目录下。 Console.WriteLine("数据已成功存储到文件中。");：在控制台输出一条消息，表示数据已成功存储。 如果需要更复杂的数据存储，例如存储对象到文件，可以使用序列化和反序列化技术，如 JSON 序列化（使用 System.Text.Json 命名空间）。
50010编辑于 2025-02-07 - 来自专栏写代码和思考
MySQL学习笔记(6) 存储过程和函数
背景 本节学习存储过程和函数。 2.知识 2.1 概念 存储过程是多条SQL语句的集合，即一次执行多个语句，批量处理SQL语句。 存储过程和函数很类似，概念不同，使用的方法不同。 2.2 存储过程 创建存储过程 先用 DELIMITER 将 MySQL 结束符设置 //，因为MySQL 默认的结束符是 分号( ; ) ，这样是为了避免冲突。写完存储过程后，再改回 分号。 示例： DELIMITER // CREATE PROCEDURE ppp() BEGIN SELECT * FROM book; END // DELIMITER ; 调用存储过程 CALL ppp 扩展 整体看存储过程的维护成本还是很高的，一般的公司没有DBA的话确存在困难，建议把业务逻辑放在业务层做。 网上也在使用存储过程上也存在一些讨论，可以了解下： 为什么阿里巴巴Java开发手册里要求禁止使用存储过程？ https://www.zhihu.com/question/57545650?
77940发布于 2021-06-29 - 来自专栏存储公众号：王知鱼
Dropbox EB级云存储架构解析
本文聚焦Dropbox如何通过键值存储、异地多活架构及仅追加写技术，构建达到4个9可用性、11个9持久性的EB级对象存储系统。 本文将深入解析其架构设计、核心组件协作机制及对存储介质（如SSD）的创新要求，为云存储与分布式系统设计提供参考。 截至2024年6月30日，Dropbox拥有超过7亿注册用户，其中付费用户达到1822万，平台上的内容数量超过1万亿。Dropbox在全球范围内被广泛使用，并拥有庞大的用户基础和丰富的内容存储。 Note 类似于国内的百度云盘、阿里云盘等网盘存储服务。 整体概况 基于异地多活架构，构建高可用分布式存储服务，底层是键值 Blob 存储系统。 二、在云存储架构中被应用的原因 • 像Twitter、Facebook等大规模Web应用程序都构建在键值存储之上，云存储架构可借鉴这种成功应用模式。
93110编辑于 2025-04-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号