- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA杂谈
架构师之路 - 存储架构
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。 存储分类 存储架构 从架构角度分类存储一般可以分为：集中式存储和分布式存储。 ） GlusterFS（文件） Ceph（块、文件、对象） 分布式存储架构 集中式存储一般使用商业软件且由厂家负责安装配置，我们这里主要讲一下分布式存储架构。 按照元数据的管理方式，存储架构可分为对称式和非对称式两种架构模式。 在对称式架构中每个节点的角色均等，共同管理和维护元数据，节点间通过高速网络进行信息同步和互斥锁等操作。 （元数据节点与存储节点分离） 接下来我们看看两种不同架构模式下的代表产品：FastDFS 和 swift。 FastDFS典型架构 ?
2.1K71发布于 2020-09-24 - 来自专栏存储知识
存储技术架构总览
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。 架构层： 在协议层，我们了解了存储设备是如何对使用者呈现数据的，再往上，我们需要考虑如何对各个服务器、机房、资源池进行管理，我们将这一层称为架构层，可分为集中式存储和分布式存储两种。 集中式存储是基于双控制器或多控制器架构的企业级存储系统，具有较强的纵向扩展能力和一定的横向扩展能力。集中式存储的特点有高可靠、高可用、高性能等。 分布式存储是采用分布式架构的存储集群，将数据分布在不同物理位置，并通过网络把它连接起来。 通过后端端口机头可以连接更多的存储设备。从这个角度来看该方式也可并入架构层。
1.8K20发布于 2021-11-03 - 来自专栏智能时刻
「存储架构」块存储、文件存储和对象存储(第1节)
这是因为即使不是所有的数据都存储在存储设备上，最重要的数据以及分析结果也会被存储在存储设备上。这将导致存储空间的需求增加。 是什么使对象存储更好地适应数据爆炸要理解对象存储所提供的好处，必须首先了解文件存储和块存储的旧概念，因为它们之间有很大的差异。 文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上，它将其存储作为网络文件系统公开。 存储应用程序然后决定数据块是否存储在系统中，以及存储在什么特定的磁盘或存储介质上。最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。 对象存储系统中的许多对象都存储在给定的存储磁盘上。在纯形式的对象存储中，“只能”保存一个文件(对象)的一个版本。如果用户进行了更改，相同文件的另一个版本将存储为新对象。
7.7K25发布于 2019-12-10 - 来自专栏linjinhe的专栏
Linux 存储架构图
From Linux Storage Stack Diagram
3.3K20发布于 2018-10-10 - 来自专栏暴走大数据
ClickHouse 数据存储架构优化
在今年年初我们对几份数据的存储架构进行了改造，记录一下改造过程。 二、改造 1、数据A （1）旧架构 ? （2）新架构 ? 这份数据是比较新接入的数据，所以从一开始的设计上就使用了比较新、完善的存储架构，例如已经是partition by day、使用SummingMergeTree引擎，所以对于不同粒度的数据直接多写来实现 这样子也省去了再在ch中存储这2个维度的数据。其实还是考虑到数据量太大，直接聚合风险比较高，所以才采用了层层聚合的模式。 这个存储架构的弊端就是中间过滤表就是多余的，占写入、占存储。 （2）新架构 之前的数据存储是直接存时间戳，现在把时间解析拆解，改成存储hour_in_12,hour,minute_in_5,minute这4个字段，并时间粒度由大到小按顺序创建索引。
2K20发布于 2020-08-28 - 来自专栏侯哥的Python分享
Mysql高级7-存储过程
一、介绍 存储过程是事先经过编译并存储在数据库中的一段sql语句的集合，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提高数据处理的效率是有好处的。 二、存储过程的特点 封装、复用 可以接收参数，也可以返回数据 减少网络交互，效率提升 三、存储过程语法 3.1 创建语法 create procedure 存储过程名称 ([参数列表]) begin when month >= 4 and month <= 6 then -> set result := "第二季度"; -> when month >=7 sql逻辑.... end while; 案例：计算从1累加到n的值，n为传入的参数值 mysql> delimiter & mysql> mysql> create procedure p7( -> end; -> & Query OK, 0 rows affected (1.56 sec) mysql> delimiter ; mysql> mysql> call p7(
1.2K81编辑于 2023-08-15 - 来自专栏大数据和云计算技术
MongoDB系列7：MongoDB存储引擎
1、前言 存储引擎是数据库的组成部分，负责管理数据存储。 MongoDB支持的以下存储引擎： 存储引擎描述WiredTiger存储引擎从MongoDB 3.2开始默认的存储引擎，新的版本MongoDB推荐使用WiredTiger存储引擎。 MMAPv1存储引擎MMAPv1是MongoDB 3.2之前版本默认的存储引擎。In-Memory存储引擎MongoDB企业版支持In-Memory存储引擎。 ·多核的可扩展性 WiredTiger在多核架构提供的可扩展性下，利用风险指针、无锁算法、快速锁存等技术减少了线程间的争用。 MMAPv1不支持大端架构如s390x（IBM System z系列大型机硬件平台）。
2.9K60发布于 2018-03-30 - 来自专栏全栈程序员必看
armeabi-v7a架构(sv7a)
armeabi与armeabi-v7a表示支持不同的CPU类型armeabi是指的该so库用于ARM的通用CPU，而v7a的CPU支持硬件浮点运算。 v5 cpu，armeabi-v7a是针对有浮点运算或高级扩展功能的arm v7 cpu。 ARM* 表示其基于 128 位 SIMD 引擎的技术 – ARM* Cortex*（一种串行扩展）—可提供比 ARM* v5 架构至少高 3 倍的性能，以及比 ARM* v6 至少高 2 倍的性能。 SSE： 英特尔推出的类似 NEON 的工具SSE 指面向英特尔架构(IA)的SIMD 流指令扩展。 目前，英特尔® 凌动™ 最高支持 SSSE3（补充 SIMD 流指令扩展 3）。 如欲了解详细信息，请参阅英特尔《IA-32 和 IA-64 软件开发人员手册》中的“第一卷： 基础架构”部分。
2K10编辑于 2022-07-28 - 来自专栏devops
【架构实战】数据加密架构：传输加密+存储加密
一、数据加密概述数据加密是保护数据安全的重要手段：加密场景：传输加密（HTTPS）存储加密（敏感数据）密钥管理二、传输加密1.HTTPS配置展开代码语言：JavaAI代码解释@ConfigurationpublicclassSSLConfig rsaService.generateKeyPair();//2.加密旧密钥的数据Map<Integer,String>encryptedKeys=newHashMap<>();//...使用新密钥加密旧密钥//3.存储新密钥 publicStringmaskPhone(Stringphone){if(phone==null)returnnull;returnphone.substring(0,3)+"****"+phone.substring(7) encryptedData)+":"+Base64.getEncoder().encodeToString(encryptedKey);}}八、总结数据加密是保护数据安全的基础：传输加密：HTTPS/TLS存储加密
16010编辑于 2026-04-11 - 来自专栏闲余说
架构设计 5-高可用架构之高可用存储架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第五部分，主要介绍高可用存储架构，分别介绍了双机架构和集群架构以及各种具体方案的优缺点和应用场景。 场景 主备复制是最常见也是最简单的一种存储高可用方案，几乎所有的存储系统都提供了主备复制的功能，例如 MySQL、Redis、MongoDB 等 主从复制 主机负责读写操作，从机只负责读操作，不负责写操作 主从复制架构中，从机提供读业务，如果主从复制延迟比较大，业务会因为数据不一致出现问题。 故障时需要人工干预。 场景 综合主从复制的优缺点，一般情况下，写少读多的业务使用主从复制的存储架构比较多。 分区 数据分区指将数据按照一定的规则进行分区，不同分区分布在不同的地理位置上，每个分区存储一部分数据，通过这种方式来规避地理级别的故障所造成的巨大影响 设计一个良好的数据分区架构，需要从多方面去考虑 数据量 成本较高，需要建设一个独立的备份中心 互备式：指每个分区备份另外一个分区的数据 设计比较复杂，各个分区除了要承担业务数据存储，还需要承担备份功能，相互之间互相关联和影响。
81620编辑于 2022-08-19 - 来自专栏云计算D1net
混合云实现分层存储架构
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。 最后，归档存储层是最便宜的，但也最慢的系统，用于存储很少使用的数据。 在混合云中建立分层存储架构 在混合云中，主存储系统一般存放于私有云，如果应用也在私有云中的话。 该存储系统存储文件和应用程序的数据，并且应当是分层存储架构中性能最高的存储系统。 二级存储系统主要存放于公有云。 分层存储架构的优势和挑战 使用混合云的分层存储架构对企业有几个好处。首先，由于它建立了两个或三个不同价格和性能水平的存储系统，分层存储可以帮助开发人员和管理员创建应用程序特定的存储策略。 企业必须精心设计和规划他们的多层存储架构以及自动化过程。对系统进行测试以确保你的混合云分层存储系统是满足预期的。
3.7K60发布于 2018-03-26 - 来自专栏来自IT的我
存储核心架构瓶颈已被攻破
这不是第一次“换芯” 原因也很简单，存储系统被称为外部存储，作为一个独立设备提供数据存储集中存储共享，主机只要将数据交给外部存储系统，至于存储系统可靠、完整存储数据，就是专业存储的事情了。 信创存储“换芯”看似简单，就是一个处理器的更换，但是因为主流信创架构芯片生态的欠缺，以及标准化、通用性的不足，使得软件适配工作量会非常大，加上规模的限制，造成了信创存储系统成本居高不下，信创存储初期，几乎 据了解，如今主流信创架构芯片存在多种技术路线，有x86、MIPS，也有ARM体系，且大多数芯片更专注计算市场，对于外部存储关注不够，典型的如PCIe外部连接通道的数量，不能够满足信创存储的需要。 汪振浩透露：对于ARM架构处理器，如对华为鲲鹏处理器的支持，宏杉科技也在积极布局之中。 也因为长期技术创新能力的积累，面对困难，宏杉科技的选择了因地制宜，最大程度发挥信创架构芯片潜力和价值的策略。
73310发布于 2021-08-25 - 来自专栏桥路_大数据
【HDFS】系统架构与存储机制
系统架构与存储机制 HDFS系统架构 HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。 其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点 而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。 DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode
58110发布于 2021-09-10 - 来自专栏Mr.Wang
CentOS7挂载NAS共享存储
记一次在centos7下挂载惠普nas存储的操作，这台惠普nas存储的访问协议有两种：CIFS和NFS，本次采用nfs协议 环境介绍： NSA存储：HP Store Once 3540 采用协议：NFS 磁盘容量：500G 挂载路径：10.1.1.133:/nas/nfs-ts 操作系统：centos7 1.在nas上创建共享存储 2.在操作系统上安装依赖包 [root@localhost]$ yum 8.x86_64 samba-common-libs-4.10.4-11.el7_8.x86_64 samba-common-tools-4.10.4-11.el7_8.x86_64 samba-client -4.10.4-11.el7_8.x86_64 samba-common-4.10.4-11.el7_8.noarch samba-libs-4.10.4-11.el7_8.x86_64 samba-4.10.4 -11.el7_8.x86_64 [root@localhost]$ rpm -qa nfs-utils nfs-utils-1.3.0-0.66.el7.x86_64 3.创建一个挂载目录 mkdir
7.9K30编辑于 2023-03-13 - 来自专栏互联网-小阿宇
Centos7挂载ISCSI网络存储
博客首页：互联网-小啊宇 Centos7挂载ISCSI网络存储 ⭐ISCSI简介 ⭐服务器安装依赖 ⭐ISCSI启动并设置开机自启动 ⭐查看Target ⭐登陆节点前需验证 开启验证 添加用户 添加密码 从根本上说，它是一种基于IP Storage理论的新型存储技术，该技术将存储行业广泛应用的SCSI接口技术与IP网络技术相结合，可以在IP网络上构建SAN。 简单地说，iSCSI就是在IP网络上运行SCSI协议的一种网络存储技术。iSCSI技术最初由Cisco和IBM两家开发，并且得到了广大IP存储技术爱好者的大力支持，这几年得到迅速的发展壮大。 对于中小企业的存储网络来说，iSCSI是个非常好的选择。 其次，iSCSI技术解决了传输效率、存储容量、兼容性、开放性、安全性等方面的诸多问题，在使用性能上绝对不输给商业的存储系统或光纤存储网络。
2.3K30编辑于 2022-11-21 - 来自专栏Java知识点
第7章_InnoDB数据存储结构
数据库的存储结构：页 # 1.1 磁盘与内存交互基本单位：页 # 1.2 页结构概述 # 1.3 页的大小 不同的数据库管理系统（简称 DBMS）的页大小不同。 页结构的示意图如下所示： 如下表所示： 我们可以把这 7 个结构分为 3 个部分。 数据库存储结构.mmap # 2.3 从数据库页的角度看 B + 树如何查询 一颗 B + 树按照字节类型可以分为两部分： 叶子节点，B+ 树最底层的节点，节点的高度为 0，存储行记录。 非叶子节点，节点的高度大于 0，存储索引键和页面指针，并不存储行记录本身。 当我们从页结构来理解 B+ 树的结构的时候，可以帮我们理解一些通过索引进行检索的原理： # 3. InnoDB 行格式 (或记录格式) 见文件 InnoDB 数据库存储结构.mmap # 4. 区、段与碎片区 # 4.1 为什么要有区？ # 4.2 为什么要有段？
42020编辑于 2023-08-02 - 来自专栏智能时刻
【架构治理】在代码存储库中记录软件架构
本文介绍了如何将 Markdown 格式与模板一起用于架构文档。 带有 Markdown 的架构文档 与代码一起管理软件的架构设计和设计决策将为项目提供极大的便利。 部署图可以使用 C4 或 UML 符号在第 7 章。 对于第 10 章，我们可以使用为架构权衡分析方法 (ATAM) 准备的表格。在这种情况下，您可以访问和使用我准备的降价表草稿。 】或者加QQ群【792862318】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
2.6K20编辑于 2022-04-12 - 来自专栏IT大咖说
VMware vSAN 架构解析及存储策略
摘要 VMware vSAN 通过 vSphere 原生的高性能体系结构支持业界领先的超融合基础架构解决方案。 vSAN是 Software-Defined Data Center 的核心构造块。 借助 VMware 支持的超融合基础架构，您能够安全发展、降低 TCO 以及根据未来发展需求扩展规模。 vSAN概述 SDDC概述 在软件定义的数据中心内，整个基础架构都实现了虚拟化，并且数据中心完全由软件自动控制。vSphere是软件定义的数据中心基础。 但是并不是vSAN集群中的每个节点都需要本地存储，没有本地存储的主机仍可利用分布式数据存储。 vSAN组件及架构介绍 vSAN集群 VirtualSAN是一种集群功能。 磁盘组需要1个用于缓存的闪存设备和1到7个存储容量的设备。一台主机最多可包含5个磁盘组。 混合磁盘组 vSAN混合磁盘组配置包括至少一个SSD缓存设备和一个SSD或HDD容量设备。 缓存设备用于性能。
5.1K30发布于 2018-04-04 - 来自专栏存储公众号：王知鱼
Dropbox EB级云存储架构解析
全文概览 Dropbox作为全球领先的云存储平台，服务覆盖7亿用户，存储内容超1万亿份文件，其核心存储系统“Magic Pocket”支撑着海量数据的高可用与持久化需求。 本文聚焦Dropbox如何通过键值存储、异地多活架构及仅追加写技术，构建达到4个9可用性、11个9持久性的EB级对象存储系统。 本文将深入解析其架构设计、核心组件协作机制及对存储介质（如SSD）的创新要求，为云存储与分布式系统设计提供参考。 截至2024年6月30日，Dropbox拥有超过7亿注册用户，其中付费用户达到1822万，平台上的内容数量超过1万亿。Dropbox在全球范围内被广泛使用，并拥有庞大的用户基础和丰富的内容存储。 二、在云存储架构中被应用的原因 • 像Twitter、Facebook等大规模Web应用程序都构建在键值存储之上，云存储架构可借鉴这种成功应用模式。
93110编辑于 2025-04-06 - 来自专栏编程一生
架构视角-文件的通用存储原理
架构师是互联网行业高薪又紧俏的资源。成为架构师最基本的是设计能力。设计与设计的区别主要体现在两方面： 1，深度：要解决哪些问题？这个问题背后的根本问题是什么？还有什么问题没有发现？ 而做架构的基本功就是研究成熟成功的系统，并总结归纳为一种设计方法添加到自己的设计库中。 事情是这样的，对于高可用的很多设计、架构，静儿都在进行专利申请中，为了避免对公司造成影响和损失，暂时处于多想不说的阶段。 3.磁盘存储防止数据丢失。 4.更好的结构化可以提升存储和读取效率。 以上です。不解释。 总结 之前和同事聊天，同事说他们架构师基于原来的版本设计了一个非常完美的2.0方案。 这也是静儿想做架构并且可以很轻松的找到一个架构师职位，但一直都是在项目组内自己动手写代码的原因：一个旁观者想了解内部的痛点很困难。 前段时间大家纷纷剖析拼多多优惠券事件背后的技术问题。
81030发布于 2019-03-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号