- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储内核技术交流
Lustre分布式存储系统架构
Lustre系统架构 系统组件描述 系统组件联系
1.2K10编辑于 2023-02-26 - 来自专栏小白晋级大师
分布式系统架构8：分布式缓存
这是小卷对分布式系统架构学习的第11篇文章，今天了解分布式缓存的理论知识以及Redis集群。 而能够保证强一致性的 ZooKeeper、Doozerd、Etcd 等框架，吞吐量比不过Redis，通常不会用作“缓存框架”，而是作为通知、协调、队列、分布式锁等使用2.透明多级缓存TMC实际开发中，同时搭配进程内缓存和分布式缓存 ，查询以进程内缓存数据优先3.实现方案3.1 memcached缓存在服务端，memcached集群环境实际就是一个个memcached服务器的堆积cache的分布式主要是在客户端实现，通过客户端的路由处理来达到分布式解决方案的目的 如下是memcached客户端路由过程：3.2 Redis缓存与memcached客户端支持分布式方案不同，Redis更倾向于在服务端构建分布式存储以Redis集群模式为例，它没有中心节点，具有线性可伸缩的功能 节点与节点之间通过二进制协议进行通信，节点与客户端之间通过ascii协议进行通信在数据的放置策略上，Redis Cluster将整个key的数值域分成2的14次方16384个hash槽，每个节点上可以存储一个或多个
72210编辑于 2025-01-20 - 来自专栏菜鸟成长学习笔记
分布式日志存储架构代码实践
上一篇，我们针对分布式日志存储方案设计做了一个理论上的分析与总结，文章地址[1]。本文我们将结合其中的一种方案进行实战代码的演示。 架构模式 通过上一篇的分析，我们大致总结出这样的一个架构设计，架构图如下： 1. 业务A、业务B、业务C和业务D表示我们实际的接口地址。当客户端发送请求时，直接的处理模块。 也就是说将我们的日志存储到磁盘，以达到数据的持久化，避免数据丢失。 4. 对于系统的日志查看，我们可以直接登录MongoDB服务进行SQL查询。 上面提到的是一个架构的大致流程图。下面将具体的代码演示，需要查看代码的可以通过Github仓库[3]地址获取。 启动日志消费者 启动日志消费者，保证一旦有日志，消费者能把日志实时存储到MongoDB中。同样的需要到logs目录下执行该命令。
74320编辑于 2022-06-08 Kafka核心架构与分布式存储
二、分布式存储基石：HDFS架构深度剖析要理解现代中间件的数据分布逻辑，必须先解剖大数据存储基石HDFS的底层架构。 此架构完美平衡了跨机架的网络传输开销与整个机架断电的灾备风险。三、Kafka物理架构与副本放置Kafka深度继承并改良了分布式存储的架构基因。在逻辑层，业务数据被分类为Topic主题。 ：主从与对等在分布式系统理论中，节点权力的架构分配存在两种截然不同的流派。 七、解析题1解析答案：分布式事件流平台。详解：集流数据传输、存储和解耦于一体，是实时计算的核心数据枢纽。题2解析答案：页缓存（PageCache）。 题8解析答案：Leader副本。详解：Leader统揽网络读写，以此保证同一个分区的数据严格有序与强一致性。题9解析答案：严格的过期自动清理策略。
38211编辑于 2026-03-05利用YashanDB实现企业数据分布式存储架构
随着企业数据规模的爆发式增长，如何构建高效且稳定的分布式存储架构成为关键问题。传统单机数据库难以满足海量数据的存储和高并发访问需求。 本文将基于YashanDB数据库系统，深入解析其分布式架构设计和核心技术，阐述如何构建高效的企业级分布式存储方案，以满足复杂业务场景的需求。 分布式部署分布式部署基于Shared-Nothing架构，增加了管理节点(MN)、协调节点(CN)和数据节点(DN)三类角色，分别负责元数据管理、SQL解析与分发以及数据持久化。 结论随着企业数据规模不断扩大，实现高性能、高可用且安全的分布式存储架构成为必然趋势。 未来，随着数据分析需求和实时处理能力的不断提升，基于YashanDB构建的分布式存储架构将持续发挥核心竞争力，推动企业数字化转型升级。
28010编辑于 2025-09-11深度剖析：Ceph分布式存储系统架构
Ceph，这个名字听起来像是某种神秘的海洋生物（实际上确实来源于头足类动物），但它其实是一个统一的分布式存储系统。就像一个超级变形金刚，它能同时提供对象存储、块存储和文件存储三种服务。 服务器配置： CPU：多核心处理器，推荐2.4GHz以上 内存：每个OSD分配1-2GB内存 网卡：双万兆网卡，前后端分离 配置优化要点 OSD优化： # 调整OSD线程数 osd_op_threads = 8 支持StatefulSet持久化 容器镜像存储 大数据平台 Hadoop生态： HDFS的替代方案 支持MapReduce作业 Spark数据湖存储 总结 Ceph作为新一代分布式存储系统，凭借其统一架构 核心优势回顾： ✅ 统一存储：一套系统提供三种存储服务 ✅ 线性扩展：从TB到PB级别无缝扩展 ✅ 高可靠性：多副本机制保证数据安全 ✅ 无单点故障：分布式架构避免性能瓶颈 ✅ 开源免费：降低存储总拥有成本 关键词：Ceph架构、分布式存储、CRUSH算法、高可用、性能优化、云存储
5.8K12编辑于 2025-07-15- 来自专栏架构师专栏
深度剖析：Ceph分布式存储系统架构
一文带你彻底搞懂Ceph的架构奥秘，从小白到架构师的进阶之路！ 文章目录1. Ceph简介：存储界的”多面手”什么是Ceph？为什么选择Ceph？2. Ceph，这个名字听起来像是某种神秘的海洋生物（实际上确实来源于头足类动物），但它其实是一个统一的分布式存储系统。就像一个超级变形金刚，它能同时提供对象存储、块存储和文件存储三种服务。 - 支持StatefulSet持久化 - 容器镜像存储大数据平台Hadoop生态： - HDFS的替代方案 - 支持MapReduce作业 - Spark数据湖存储总结Ceph作为新一代分布式存储系统 核心优势回顾： ✅ 统一存储：一套系统提供三种存储服务✅ 线性扩展：从TB到PB级别无缝扩展✅ 高可靠性：多副本机制保证数据安全✅ 无单点故障：分布式架构避免性能瓶颈✅ 开源免费：降低存储总拥有成本在这个数据爆炸的时代 关键词：Ceph架构、分布式存储、CRUSH算法、高可用、性能优化、云存储
1.8K10编辑于 2025-07-10 YashanDB分布式存储架构的设计精髓解读
YashanDB 是一种分布式存储系统，设计精髓通常体现在以下几个关键方面：1. 分布式架构：YashanDB 采用分布式架构，将数据分散存储在多个节点上，增强了系统的可伸缩性和容错能力。 数据一致性：在分布式环境中，保持数据一致性是一个重要挑战。YashanDB 可能采用强一致性或最终一致性的保证，确保在多副本情况下，数据的一致性和可用性。3. 数据分片：为提高存储和查询效率，YashanDB 支持数据分片，将数据划分为不同的逻辑部分，这样可以在多个节点之间平行处理请求。6. 8. 多数据模型支持：YashanDB 可能支持多种数据模型（如键值存储、文档存储、图存储等），以适应不同应用的需求。 通过上述设计精髓，YashanDB 努力在大规模分布式系统中提供高效、可靠和灵活的数据存储解决方案。对于具体的实现细节和技术特性，可以参考官方文档或相关论文以获得更深入的理解。
15510编辑于 2025-11-17- 来自专栏肉眼品世界
Ceph分布式存储系统架构研究综述
当时他发现元数据的查询和维护严重影响了 Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法 CRUSH。 Ceph存储系统的设计目标是提供高性能、高可扩展性、 高可用的分布式存储服务。 本文介绍Ceph 的集群架构、数据放置方法以及数据读写路径，并在此基础上分析其性能特点和瓶颈。 集群架构 RADOS可提供高可靠、高性能和全分布式的对象存储 服务。 统一访问接口 RADOS提供了分布式对象存储能力，并在此基础上扩展了块存储和文件存储功能。RADOS中单个对象的大小根据配置文件指定（一般为４M）。LIBRADOS提供的库可以访问任意对象的内容。 在分布式存储系统中，数据被分散在大量的存储服务器上，大部分分布式存储系统都直接使用本地文件系统来存储 数据，如HDFS，Lustre等。
1.1K20发布于 2021-07-13 YashanDB的分布式存储架构详解与优化
YashanDB 是一种分布式数据库，通常具有高吞吐量和低延迟的特点。以下是 YashanDB 的分布式存储架构详解及其优化策略：1. YashanDB 的基本架构1.1. 存储层- 数据分片：YashanDB 将数据分片以提高并行处理能力和存储效率，每个节点存储特定的数据段。- 副本机制：通过数据副本保障数据的高可用性，通常采用主从复制或多主复制的模型。1.2. - 计算节点：支持分布式计算，多个节点共同完成计算任务，分散负载。1.3. 元数据管理- 元数据服务：管理数据的元信息，包括分片策略、节点状态、数据路由等，通常需要高可用和一致性。2. 在实际应用中，团队会结合具体业务需求，灵活调整 YashanDB 的架构和优化策略，以确保系统的可靠性和高性能。 结论YashanDB 作为一种分布式存储解决方案，通过合理的架构设计与优化策略，能够有效地满足现代分布式系统对高可用性、高性能的需求。在具体应用中，结合实际情况进行优化，将进一步提升其性能和稳定性。
18710编辑于 2025-11-16YashanDB分布式存储架构解析及优化建议
因此，深入了解YashanDB的分布式存储架构及其优化方法至关重要。分布式架构概述YashanDB架构特色YashanDB是一款兼具可扩展性、高可用性及高性能的分布式数据库。 其分布式架构主要由以下模块构成：主节点（MN）：负责元数据管理、事务管理以及服务调度。协调节点（CN）：负责接收用户请求，生成查询计划，并向数据节点分发查询任务。 分布式存储的优势高可用性YashanDB通过主备复制机制，例如主库和备库之间的实时数据同步，确保在故障发生时能够迅速切换，最大限度降低数据丢失风险。 高扩展性分布式架构允许随着数据量的增加灵活增加节点，通过增加硬件资源实现线性扩展。YashanDB的设计能够支持海量数据的高效访问和存储，带来可观的性能提升。 结论YashanDB提供了一种高效、可靠的分布式存储架构，具备出色的可扩展性和高可用性特点。
21710编辑于 2025-08-19- 来自专栏菜鸟成长学习笔记
分布式日志存储架构设计方案
本文是分布式日志存储系列的理论篇。也有实战篇，将会分享从0到1的整个过程，从0环境的搭建到真正的实践落地。 分布式部署(文件) 这里的分布式部署(文件)指的是，系统服务采用分布式部署时，日志存储还是采用文件存储。大致的逻辑图如下： 优点 这样的部署方案有什么好处，和上面提到的单节点部署一样。 缺点 在分布式部署中，还是同样的会遇到单节点部署所遇到的问题。 不便于系统排查。当系统出现异常时，由于是分布式部署，我们不知道最终的日志存储在那一台服务器上，就需要挨个服务器的排查。 分布式部署(日志系统) 上面提到了分布式系统，使用文件存储日志的几个弊端。因此这里推出使用独立的日志系统，存储系统日志。 ELK存储 ELK是Elasticsearch+Logstash +Kibana 这种架构的简写。这是一种开源日志分析平台的架构。ELK是开源的，社区活跃，用户众多，这样的架构也得到广泛的使用。
1.5K11编辑于 2022-06-08 - 来自专栏曾楚伟的专栏
微信 PaxosStore：大规模分布式存储架构
主要分享内容： PaxosStore设计； 基于PaxosStore的存储案例。
3.2K00发布于 2017-06-16 - 来自专栏NoSQL数据库
【赵渝强老师】MongoDB的分布式存储架构
MongoDB为了解决这一系列的问题提出了将数据分割存储在多台服务器上，使得数据库系统能存储和处理更多的数据，以实现数据的分布式存储。这就是MongoDB的分片。 因此复制集从本质上并不能解决数据海量存储的问题。一、 MongoDB分片的架构MongoDB分片的架构需要依赖MongoDB的复制集为基础来实现，下图展示了分片的体系架构。 视频讲解如下：二、 【实战】部署MongoDB分片在了解到了MongoDB分片的架构与组成以后，下表列举了MongoDB分片中的各个节点信息。提示：表中列举的的信息是MongoDB分片架构的最简信息。 > sh.shardCollection("myshardDB.table1",{"_id":1})提示：这里使用了插入文档的_id作为片键来实现文档的分布式存储。 因此可以得出结论，数据实现了分布式存储但效果不是很好。为了实现更好的数据分布式存储应当合理地选择片键。
20710编辑于 2025-10-02 - 来自专栏【腾讯云开发者】
一文读懂分布式存储架构背后的存储引擎原理
数据库（数据引擎）最核心的任务就是“读到写入的值”，我们尝试从“最简单的脚本文件数据读写”一步一步扩展讨论到“分布式键值数据库”，在这个过程中我们会遇到很多“挑战”，并尝试逐步解决。 1字节太少，只能存储256长度的字节序列，若有超长字符串就存不下；若字节太多，如4字节，又存在了很大的空间浪费； 可以参照UTF-8变长字节编码的方式来实现，根据前几个比特位是否为0来表示使用几个字节表示字节长度 此时架构如下： 此时还有一个问题就是：数据初始是写入到memtable中的，若还没来得及dump到文件中，发生了机器故障，重启之后内存丢失，memtable中写入的值也会丢失。 为进一步描述列存储，再看下面这个示例： 表共有8列，在列存储情况下，每一列作为一个文件存储，如product_sk列，就会作为一个独立文件，存储内容为：69,69,69,74,31,31,31； 列存储 Proxy通过watch感知到节点变化之后会将后续请求转发到正确的节点； 关键字区间会映射到不同的分区，多个分区会映射到同一个节点中，图例中仅展示了主节点； 经过上面所有的讨论，我们可以得到如下这个相对通用的分布式存储架构
1.1K21编辑于 2024-12-05 - 来自专栏明明如月的技术专栏
软考高级架构师：Redis 分布式存储方案
Redis 是一个高性能的键值存储系统，经常被用于缓存和会话管理等场景。在分布式存储方面，Redis 提供了多种解决方案，主要包括主从模式、哨兵模式和集群模式。 一、主从模式 主从模式（Master-Slave）是 Redis 最简单的一种分布式架构。在这种模式下，有一个主节点（Master）和一个或多个从节点（Slave）。 三、集群模式 集群模式（Cluster）是 Redis 提供的一种更复杂、更强大的分布式解决方案，适用于大规模数据和高并发场景。 原理： 数据分片（Sharding）：将数据分布到多个节点上，每个节点只存储一部分数据。 每个节点既可以是主节点也可以有对应的从节点，从而形成一个集群。 根据不同的需求和场景选择合适的 Redis 分布式存储方案，可以更好地发挥 Redis 的性能和优势。
94701编辑于 2024-05-25 - 来自专栏明志德到的IT笔记
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。 这三个组成元素共同协作，构成了分布式存储系统的基本架构。数据的使用者通过与数据的索引者进行交互来获取所需的数据位置信息，然后与数据的存储者进行通信，读取或写入实际的数据。 在实施过程中，需要考虑数据一致性、查询性能、数据迁移等方面的问题，并选择合适的工具和技术来支持分布式数据库架构。 分布式数据库主从复制：读写分离的架构设计、数据复制（同步数据复制、异步数据复制）、主库挂掉后方案 分布式数据库中的主从复制是一种常见的架构设计，它通过将写操作集中在主数据库上，并将数据的副本复制到一个或多个从数据库上来提高系统的性能 数据迁移： 迁移算法：根据具体的分布式数据库架构和迁移策略，选择合适的迁移算法来将数据从旧节点迁移到新节点。常用的迁移算法包括哈希分片、范围分片等。
2K10编辑于 2023-12-18 - 来自专栏Java架构
阿里P8架构师深度概述分布式架构
作为一名分布式系统架构或者资深研发人员，我们必须尽可能多的学习与之相关的各种知识，掌握各种技术的演进路线，正式从一名码农蜕变成为架构师 什么是分布式？ 互联网应用的特点是：高并发，海量数据。 海量数据包括：海量数据的存储和海量数据的处理。这两个工程难题都可以使用分布式系统来解决。 简单理解，分布式系统就是把一些计算机通过网络连接起来，然后协同工作。 一方面单台计算机的性能每年都在提升：从最早的8位CPU到现在的64位CPU；从早期的MB级内存到现在的GB级别内存；从慢速的机械存储到现在的固态SSD硬盘存储。 如何把单击扩展到分布式 前面我们讲到了冯.诺依曼模型，计算机一共由5个部分组成，从用户角度来看，分布式系统就像一台超级计算机。理论上也应该由输入、输出、运算、存储和控制这5部分组成。 运用多个节点的计算能力来协同完成整体的计算任务 存储器 在分布式系统中，我们需要把承担存储功能的多个节点组织在一起，组成一个整体的存储器；比如数据库、redis（key-value存储）
87810发布于 2018-10-15 - 来自专栏JAVA高级架构
阿里P8架构师深度概述分布式架构
作为一名分布式系统架构或者资深研发人员，我们必须尽可能多的学习与之相关的各种知识，掌握各种技术的演进路线，正式从一名码农蜕变成为架构师 什么是分布式？ 互联网应用的特点是：高并发，海量数据。 海量数据包括：海量数据的存储和海量数据的处理。这两个工程难题都可以使用分布式系统来解决。 简单理解，分布式系统就是把一些计算机通过网络连接起来，然后协同工作。 一方面单台计算机的性能每年都在提升：从最早的8位CPU到现在的64位CPU；从早期的MB级内存到现在的GB级别内存；从慢速的机械存储到现在的固态SSD硬盘存储。 如何把单击扩展到分布式 前面我们讲到了冯.诺依曼模型，计算机一共由5个部分组成，从用户角度来看，分布式系统就像一台超级计算机。理论上也应该由输入、输出、运算、存储和控制这5部分组成。 运用多个节点的计算能力来协同完成整体的计算任务 存储器 在分布式系统中，我们需要把承担存储功能的多个节点组织在一起，组成一个整体的存储器；比如数据库、redis（key-value存储）
78360发布于 2018-11-06 - 来自专栏JAVA高级架构
阿里P8架构师深度概述分布式架构
作为一名分布式系统架构或者资深研发人员，我们必须尽可能多的学习与之相关的各种知识，掌握各种技术的演进路线，正式从一名码农蜕变成为架构师 什么是分布式？ 互联网应用的特点是：高并发，海量数据。 海量数据包括：海量数据的存储和海量数据的处理。这两个工程难题都可以使用分布式系统来解决。 简单理解，分布式系统就是把一些计算机通过网络连接起来，然后协同工作。 一方面单台计算机的性能每年都在提升：从最早的8位CPU到现在的64位CPU；从早期的MB级内存到现在的GB级别内存；从慢速的机械存储到现在的固态SSD硬盘存储。 如何把单击扩展到分布式 前面我们讲到了冯.诺依曼模型，计算机一共由5个部分组成，从用户角度来看，分布式系统就像一台超级计算机。理论上也应该由输入、输出、运算、存储和控制这5部分组成。 运用多个节点的计算能力来协同完成整体的计算任务 存储器 在分布式系统中，我们需要把承担存储功能的多个节点组织在一起，组成一个整体的存储器；比如数据库、redis（key-value存储）
89060发布于 2018-10-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号