- 综合排序
- 最热优先
- 最新优先
- 来自专栏侯哥的Python分享
MySQL高级10-InnoDB引擎存储架构
Roll_pointer：每次对某条记录进行改动时，都会把旧的版本写入到undo日志中，然后这个隐藏列就相当于一个指针，通过它可以找到该记录修改前的信息 二、整体架构 MySQL5.5 版本开始，默认使用 InnoDB 存储引擎，它擅长事务处理，具有崩溃恢复特性，在日常开发中使用非常广泛，下面是 InnoDB 架构图，左侧为内存架构，右侧为磁盘架构。 三、内存结构 内存架构中主要分为：Buffer Poll(内存缓冲池)、Change Buffer()、LogBuffer()、Adaptive Hash Index()四个区。 innodb_flush_log_at_trx_commit | 1 | +--------------------------------+-------+ 2 rows in set (0.00 sec) 四、磁盘架构 存储空间：使用File-Per-Table Tablespace可以更有效地使用存储空间。
82421编辑于 2023-09-20 - 来自专栏JAVA杂谈
架构师之路 - 存储架构
架构师在做架构设计时一定绕不开存储的设计，本文我们一起来了解一下存储的相关知识。主要内容包括存储使用方式、常见协议、链接方式以及分布式存储架构中的典型架构案例。 存储分类 存储架构 从架构角度分类存储一般可以分为：集中式存储和分布式存储。 ） GlusterFS（文件） Ceph（块、文件、对象） 分布式存储架构 集中式存储一般使用商业软件且由厂家负责安装配置，我们这里主要讲一下分布式存储架构。 按照元数据的管理方式，存储架构可分为对称式和非对称式两种架构模式。 在对称式架构中每个节点的角色均等，共同管理和维护元数据，节点间通过高速网络进行信息同步和互斥锁等操作。 （元数据节点与存储节点分离） 接下来我们看看两种不同架构模式下的代表产品：FastDFS 和 swift。 FastDFS典型架构 ?
2.1K71发布于 2020-09-24 - 来自专栏存储知识
存储技术架构总览
现有的存储系统经过长期发展，种类及其繁多，架构也各不相同，仅靠一文不可能讲得完全详尽。笔者试图在各个存储系统中，按照从底层到上层的思路，抽象出某些共性，也就是：物理层、协议层、架构层、连接层四个层次。 架构层： 在协议层，我们了解了存储设备是如何对使用者呈现数据的，再往上，我们需要考虑如何对各个服务器、机房、资源池进行管理，我们将这一层称为架构层，可分为集中式存储和分布式存储两种。 集中式存储是基于双控制器或多控制器架构的企业级存储系统，具有较强的纵向扩展能力和一定的横向扩展能力。集中式存储的特点有高可靠、高可用、高性能等。 分布式存储是采用分布式架构的存储集群，将数据分布在不同物理位置，并通过网络把它连接起来。 通过后端端口机头可以连接更多的存储设备。从这个角度来看该方式也可并入架构层。
1.8K20发布于 2021-11-03 - 来自专栏智能时刻
「存储架构」块存储、文件存储和对象存储(第1节)
这是因为即使不是所有的数据都存储在存储设备上，最重要的数据以及分析结果也会被存储在存储设备上。这将导致存储空间的需求增加。 是什么使对象存储更好地适应数据爆炸要理解对象存储所提供的好处，必须首先了解文件存储和块存储的旧概念，因为它们之间有很大的差异。 文件、块和对象存储之间的区别 文件存储和块存储是在NAS和SAN存储系统上存储数据的方法。 在NAS系统上，它将其存储作为网络文件系统公开。 存储应用程序然后决定数据块是否存储在系统中，以及存储在什么特定的磁盘或存储介质上。最后如何组合这些块以及如何访问它们决定了存储应用程序。SAN中的块没有与存储系统或应用程序相关的元数据。 对象存储系统中的许多对象都存储在给定的存储磁盘上。在纯形式的对象存储中，“只能”保存一个文件(对象)的一个版本。如果用户进行了更改，相同文件的另一个版本将存储为新对象。
7.7K25发布于 2019-12-10 - 来自专栏linjinhe的专栏
Linux 存储架构图
From Linux Storage Stack Diagram
3.3K20发布于 2018-10-10 - 来自专栏暴走大数据
ClickHouse 数据存储架构优化
在今年年初我们对几份数据的存储架构进行了改造，记录一下改造过程。 二、改造 1、数据A （1）旧架构 ? （2）新架构 ? 这份数据是比较新接入的数据，所以从一开始的设计上就使用了比较新、完善的存储架构，例如已经是partition by day、使用SummingMergeTree引擎，所以对于不同粒度的数据直接多写来实现 这样子也省去了再在ch中存储这2个维度的数据。其实还是考虑到数据量太大，直接聚合风险比较高，所以才采用了层层聚合的模式。 这个存储架构的弊端就是中间过滤表就是多余的，占写入、占存储。 （2）新架构 之前的数据存储是直接存时间戳，现在把时间解析拆解，改成存储hour_in_12,hour,minute_in_5,minute这4个字段，并时间粒度由大到小按顺序创建索引。
2K20发布于 2020-08-28 - 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 混合云的不同方法 公有或私有云存储平台可能不是你的组织所寻找的。幸运的是，可能有一个很好的中介。 混合云越来越受欢迎，这并不奇怪，当考虑到公有或私有云基础架构的问题时。 混合云基础架构可提升性能 混合云的一个主要好处是，它具有私有云和公有云环境的最好的方面。混合云暗藏玄机，不仅具有更好的性能，还拥有低成本的特性。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。
2.9K60发布于 2018-03-02 - 来自专栏数据猿
微信许家滔：微信10亿日活场景下，后台微服务架构及存储架构实践！
作者介绍：许家滔，微信技术架构部后台总监，专家工程师，多年来伴随QQ邮箱和微信后台成长，历经系统从0到10亿级用户的过程。目前负责微信后台工作，包括消息，资料与关系链，后台基础设施等内容。 02 微信后台的系统架构 逻辑上讲，最前面会有一个终端，后面会有一个长链接接入层，在线有几亿的管理连接部分。 03 微信后台系统主要面临的挑战 微信的用户规模已达10亿，每天的微信消息达1000+亿，朋友圈每日发表和点赞数达10+亿，每日浏览数达100+亿，开放平台，微信支付等业务活跃度持续增长。 系统方面主要面临4大挑战： 1.海量存储。需要一个能容错、容灾的高可用存储与计算的框架。 2.数据强一致性。保障10亿用户数据不会出现问题。 3.突发洪峰流量。春节、元旦、以及突发热点事件。 06 PaxosStore整体架构 PaxosStore整体架构，如下图。
6.5K435发布于 2020-03-19 - 来自专栏devops
【架构实战】数据加密架构：传输加密+存储加密
一、数据加密概述数据加密是保护数据安全的重要手段：加密场景：传输加密（HTTPS）存储加密（敏感数据）密钥管理二、传输加密1.HTTPS配置展开代码语言：JavaAI代码解释@ConfigurationpublicclassSSLConfig rsaService.generateKeyPair();//2.加密旧密钥的数据Map<Integer,String>encryptedKeys=newHashMap<>();//...使用新密钥加密旧密钥//3.存储新密钥 encryptedData)+":"+Base64.getEncoder().encodeToString(encryptedKey);}}八、总结数据加密是保护数据安全的基础：传输加密：HTTPS/TLS存储加密
16010编辑于 2026-04-11 - 来自专栏闲余说
架构设计 5-高可用架构之高可用存储架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第五部分，主要介绍高可用存储架构，分别介绍了双机架构和集群架构以及各种具体方案的优缺点和应用场景。 场景 主备复制是最常见也是最简单的一种存储高可用方案，几乎所有的存储系统都提供了主备复制的功能，例如 MySQL、Redis、MongoDB 等 主从复制 主机负责读写操作，从机只负责读操作，不负责写操作 主从复制架构中，从机提供读业务，如果主从复制延迟比较大，业务会因为数据不一致出现问题。 故障时需要人工干预。 场景 综合主从复制的优缺点，一般情况下，写少读多的业务使用主从复制的存储架构比较多。 例如，论坛、BBS、新闻网站这类业务，此类业务的读操作数量是写操作数量的 10 倍甚至 100 倍以上。 分区 数据分区指将数据按照一定的规则进行分区，不同分区分布在不同的地理位置上，每个分区存储一部分数据，通过这种方式来规避地理级别的故障所造成的巨大影响 设计一个良好的数据分区架构，需要从多方面去考虑 数据量
81620编辑于 2022-08-19 - 来自专栏云计算D1net
混合云实现分层存储架构
通过提供更低的成本，更高的性能并减少数据的丢失，混合云可以帮助一些企业优化其分层存储系统。 分层存储架构并不是什么新鲜事。 最后，归档存储层是最便宜的，但也最慢的系统，用于存储很少使用的数据。 在混合云中建立分层存储架构 在混合云中，主存储系统一般存放于私有云，如果应用也在私有云中的话。 该存储系统存储文件和应用程序的数据，并且应当是分层存储架构中性能最高的存储系统。 二级存储系统主要存放于公有云。 分层存储架构的优势和挑战 使用混合云的分层存储架构对企业有几个好处。首先，由于它建立了两个或三个不同价格和性能水平的存储系统，分层存储可以帮助开发人员和管理员创建应用程序特定的存储策略。 企业必须精心设计和规划他们的多层存储架构以及自动化过程。对系统进行测试以确保你的混合云分层存储系统是满足预期的。
3.7K60发布于 2018-03-26 - 来自专栏来自IT的我
存储核心架构瓶颈已被攻破
这不是第一次“换芯” 原因也很简单，存储系统被称为外部存储，作为一个独立设备提供数据存储集中存储共享，主机只要将数据交给外部存储系统，至于存储系统可靠、完整存储数据，就是专业存储的事情了。 信创存储“换芯”看似简单，就是一个处理器的更换，但是因为主流信创架构芯片生态的欠缺，以及标准化、通用性的不足，使得软件适配工作量会非常大，加上规模的限制，造成了信创存储系统成本居高不下，信创存储初期，几乎 据了解，如今主流信创架构芯片存在多种技术路线，有x86、MIPS，也有ARM体系，且大多数芯片更专注计算市场，对于外部存储关注不够，典型的如PCIe外部连接通道的数量，不能够满足信创存储的需要。 汪振浩透露：对于ARM架构处理器，如对华为鲲鹏处理器的支持，宏杉科技也在积极布局之中。 也因为长期技术创新能力的积累，面对困难，宏杉科技的选择了因地制宜，最大程度发挥信创架构芯片潜力和价值的策略。
73310发布于 2021-08-25 - 来自专栏桥路_大数据
【HDFS】系统架构与存储机制
系统架构与存储机制 HDFS系统架构 HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。 其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点 而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。 DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode
58110发布于 2021-09-10 - 来自专栏人工智能领域
10.高级存储过程技巧（1010）
2.1 存储过程调试的基本概念 2.1.1 调试存储过程的目的 调试存储过程的目的包括： 查找和修复错误：识别和解决存储过程中的逻辑错误或运行时错误。 验证逻辑：确保存储过程的业务逻辑正确无误。 2.2.2 使用“Step Into”进行存储过程调试 Step Into：使用“Step Into”(F10)命令可以进入存储过程或函数的内部，逐行执行，这有助于调试嵌套的存储过程或函数调用。 - 阿里云开发者社区 链接 《SQL-触发器(trigger)的详解以及代码演示》- CSDN博客 链接 《25.3.1 触发器语法和示例》- MySQL 8.0 参考手册 链接 《不可不知的10个数据库安全最佳实践 本文相关文章推荐： 1.MySQL存储过程基础（1/10） 2.创建第一个MySQL存储过程（2/10） 3.使用条件语句编写存储过程（3/10） 4.循环结构在存储过程中的应用（4/10） 5.错误处理在存储过程中的重要性 （5/10） 6.存储过程中的游标使用（6/10） 7.存储过程中的事务管理（7/10） 8.优化存储过程的性能（8/10） 9.存储过程安全性博客大纲（9/10） 10.高级存储过程技巧（10/10
63610编辑于 2024-12-18 - 来自专栏帅云霓的技术小屋
云存储硬核技术内幕——(10)
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。 Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。 出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。 因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
1K20编辑于 2022-08-04 - 来自专栏智能时刻
【架构治理】在代码存储库中记录软件架构
本文介绍了如何将 Markdown 格式与模板一起用于架构文档。 带有 Markdown 的架构文档 与代码一起管理软件的架构设计和设计决策将为项目提供极大的便利。 对于第 10 章，我们可以使用为架构权衡分析方法 (ATAM) 准备的表格。在这种情况下，您可以访问和使用我准备的降价表草稿。 】或者加QQ群【792862318】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
2.6K20编辑于 2022-04-12 - 来自专栏郭霖
Android 10适配要点，作用域存储
距离Android 10系统正式发布已经过去大半年左右的时间了，你的应用程序已经对它进行适配了吗？ 在Android 10众多的行为变更当中，有一点是非常值得引起我们重视的，那就是作用域存储。 另外它也不属于《第一行代码》现有的知识架构体系，虽然我有想过在第3版中加入这部分内容的讲解，但几经思考之后还是决定以一讲单独文章的方式来讲解这部分内容，也算是作为《第一行代码 第3版》的内容扩展吧。 本篇文章对作用域存储进行了比较全面的解析，相信看完之后你将能够轻松地完成Android 10作用域存储的适配升级。 而在作用域存储这个功能上面，恭喜大家，暂时确实是可以不用升级的。 目前Android 10系统对于作用域存储适配的要求还不是那么严格，毕竟之前传统外置存储空间的用法实在是太广泛了。 第三方SDK不支持作用域存储怎么办？ 阅读完了本篇文章之后，相信你对Android 10作用域存储的用法和适配基本上都已经掌握了。
3.1K10发布于 2020-04-16 - 来自专栏阿杜的世界
10个常见软件架构
原文参见：10 Common Software Architectural Patterns in a nutshell 在开始一个大型项目之前，我们需要进行详细的系统分析，尽量选择合适的架构，这样方便我们快速交付和后期维护升级 ，这篇文章总结了10种常见的架构模式。 在阅读这篇文章的时候，我想到了之前读过的一本书——《企业应用架构模式》，这本书偏理论，但是对理解大型系统的构建很有帮助。 架构模式的定义：架构模式是在给定的场景下，前人总结出来的通用的、可重复利用的解决方案。架构模式和设计模式的作用类似，但是它针对的范围更加广泛。 下面这张图值得收藏，讲了这几种架构模式的trade-off ? image.png
1.5K30发布于 2018-12-14 - 来自专栏IT大咖说
VMware vSAN 架构解析及存储策略
摘要 VMware vSAN 通过 vSphere 原生的高性能体系结构支持业界领先的超融合基础架构解决方案。 vSAN是 Software-Defined Data Center 的核心构造块。 借助 VMware 支持的超融合基础架构，您能够安全发展、降低 TCO 以及根据未来发展需求扩展规模。 vSAN概述 SDDC概述 在软件定义的数据中心内，整个基础架构都实现了虚拟化，并且数据中心完全由软件自动控制。vSphere是软件定义的数据中心基础。 但是并不是vSAN集群中的每个节点都需要本地存储，没有本地存储的主机仍可利用分布式数据存储。 vSAN组件及架构介绍 vSAN集群 VirtualSAN是一种集群功能。 组件使用以下技术进行分发：条带化（RAID 0）、镜像（RAID 1）、镜像加上条带化（通常称为RAID 10）、擦除编码（RAID5/6）。 创建的组件副本和副本的数量基于对象策略定义。
5.1K30发布于 2018-04-04 - 来自专栏存储公众号：王知鱼
Dropbox EB级云存储架构解析
本文聚焦Dropbox如何通过键值存储、异地多活架构及仅追加写技术，构建达到4个9可用性、11个9持久性的EB级对象存储系统。 本文将深入解析其架构设计、核心组件协作机制及对存储介质（如SSD）的创新要求，为云存储与分布式系统设计提供参考。 整体概况 基于异地多活架构，构建高可用分布式存储服务，底层是键值 Blob 存储系统。 该系统保证了4个9的可用性，意味着系统运行时间非常高，故障时间极短。 键值 Blob 存储系统 的特点是什么？为什么会在云存储架构中被应用？ 一、键值Blob存储系统的特点 • 可变大小的数据、可变数量的项目、抽象引用，通过硬件实现可提高存储系统效率和性能。 二、在云存储架构中被应用的原因 • 像Twitter、Facebook等大规模Web应用程序都构建在键值存储之上，云存储架构可借鉴这种成功应用模式。
93110编辑于 2025-04-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号