- 综合排序
- 最热优先
- 最新优先
- 来自专栏ZooKeeper原理和源码
zk源码—7.ZAB协议和数据存储
大纲1.两阶段提交Two-Phase Commit(2PC)2.三阶段提交Three-Phase Commit(3PC)3.ZAB协议算法4.ZAB协议与Paxos算法5.zk的数据存储原理之内存数据6 .zk的数据存储原理之事务日志7.zk的数据存储原理之数据快照8.zk的数据存储原理之数据初始化和数据同步流程1.两阶段提交Two-Phase Commit(2PC)(1)数据库事务通过undo和redo zk存储了整棵树的内容，包括所有的节点路径、节点数据及ACL信息等。zk会定时将整棵树的数据存储到磁盘上。 6.zk的数据存储原理之事务日志(1)事务日志的存储(2)事务日志的写入之FileTxnLog的创建(3)事务日志的写入之FileTxnLog写入日志的步骤(4)事务日志截断(1)事务日志的存储部署zk 7.zk的数据存储原理之数据快照(1)文件存储(2)数据快照过程(1)文件存储一.数据快照文件和事务日志文件的命名规则一样二.数据快照文件没有采用事务日志文件中的预分配机制一.数据快照文件和事务日志文件的命名规则一样数据快照文件也是使用
22100编辑于 2025-07-14 - 来自专栏存储知识
底层存储协议介绍
在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI（高级主机控制器接口，Advanced Host Controller Interface）。 对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。 AHCI 协议已经不能满足高性能和低延时 SSD 的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe（NVM Express）协议应运而生。 在网络协议层，30 年来，存储网络都是以 SCSI（小型计算机系统接口，Small Computer System Interface）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber EqualLogic建立在虚拟化对等存储架构之上，为小型到大型组织简化和自动化数据存储。
1.3K50编辑于 2021-12-09 - 来自专栏全栈程序员必看
7、多协议配置以及dubbo协议详解
因dubbo协议采用单一长连接，假设网络为千兆网卡(1024Mbit=128MByte)，根据测试经验数据每条连接最多只能压满7MByte(不同的环境可能不一样，供参考)，理论上1个服务提供者需要20个服务消费者才能压满网卡 因dubbo协议采用单一长连接，如果每次请求的数据包大小为500KByte，假设网络为千兆网卡(1024Mbit=128MByte)，每条连接最大7MByte(不同的环境可能不一样，供参考)，单个服务提供者的 单个消费者调用单个服务提供者的TPS(每秒处理事务数)最大为：7MByte / 500KByte = 14。如果能接受，可以考虑使用，否则网络将成为瓶颈。 为什么采用异步单一长连接？ http协议 基于http表单的远程调用协议。 thrift协议 当前 dubbo 支持的 thrift 协议是对 thrift 原生协议的扩展，在原生协议的基础上添加了一些额外的头信息，比如service name，magic number等
1K20编辑于 2022-09-06 - 来自专栏存储知识
三大存储协议介绍与存储资源盘活系统
存储协议目前主流的有三种，AHCI、NVMe、SCSI。 对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。 通俗点说SCSI协议就是一个存储设备与服务器之间接口通讯的一个规范。 提到HBlock，一个更加普及的名字恐怕是存储资源盘活系统。存储资源盘活系统通过标准iSCSI协议提供虚拟Target和逻辑卷。它可以通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。 因此，无论使用哪种存储协议，存储资源盘活系统都可以将各种服务器、空闲磁盘整合为统一高性能资源池，灵活调度、分配、使用、上云，打造无缝融入现有业务的存储系统。
1.9K30编辑于 2022-04-14 - 来自专栏ffffffff0x
工控协议:S7COMM协议分析(上)
--- S7Comm S7Comm（S7 Communication）是西门子专有的协议，是西门子 S7 通讯协议簇里的一种。 S7 协议的 TCP/IP 实现依赖于面向块的 ISO 传输服务。 S7 协议被封装在 TPKT 和 ISO-COTP 协议中，这使得 PDU（协议数据单元）能够通过 TCP 传送。 S7Comm 以太网协议基于 OSI 模型，从 wireshark 协议分级可以看出排列。 S7Comm 协议包含三部分： Header Parameter Data 根据实现的功能不同，S7 comm 协议的结构会有所不同。 下一篇文章，我们将继续学习S7comm协议Userdata 协议拓展部分。 --- 本文作者 r0fus0d
5.1K11发布于 2021-01-18 - 来自专栏ffffffff0x
工控协议:S7COMM协议分析(下)
前言 在上一篇文章中，我们介绍了S7Comm协议的S7Comm Header和Job 和 Ack_Data机制。 本篇文章，我们将继续介绍S7Comm协议的Userdata 协议拓展并结合pcap流量包实际分析。 自动化系统的名称； W#16#0002：模块名称； W#16#0003：模块的设备标识； W#16#0004：版权； W#16#0005：模块的序列号； W#16#0007：模块类型名称； W#16#0008：存储卡的序列号在不能插入存储卡的模块中 读时间（Read clock）； 请求 [13.png] 响应 [14.png] --- 总结 本文，我们分析了S7Comm协议的Userdata 协议拓展部分。 通过与pcap流量包的结合分析，可以更加直观的了解其原理和交互过程，学习S7Comm协议对于工控安全非常重要，在之后的文章里，我们还将继续学习modbus和Ethernet/IP协议相关内容。
2.1K11发布于 2021-01-18 - 来自专栏PHPer 进击
网络协议 7 - UDP 协议：性善碰到城会玩
基于 UDP 的“城会玩”的五个例子 城会玩 一：网页或 APP 的访问 网页和手机 APP 都是基于 HTTP 协议的，而HTTP 协议是基于 TCP 的，建立连接都需要多次交互，对于时延比较大的移动互联网来讲 “城会玩” 二：流媒体的协议 直播协议多使用 RTMP，这个协议就是基于 UDP 的。TCP 的严格顺序传输要保证前一个收到了，下一个才能确认。 Google 旗下的 Nest 建立 Thread Group，推出了物联网通信协议 Thread，就是基于 UDP 协议的。 “城会玩” 五：移动通信领域 在 4G 网络里，移动流量上网的数据协议 GTP-U 也是基于 UDP 的。因为移动网络协议比较复杂，而 GTP 协议本身就包含复杂的手机上线下线的通信协议。 参考： 百度百科-UDP 词条； 刘超-趣谈网络协议系列课；
1.1K30发布于 2019-04-11 - 来自专栏腾讯云中间件的专栏
重新理解RocketMQ Commit Log存储协议
main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁 我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 我整理后， 如下图： 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
41810编辑于 2023-05-19 - 来自专栏用户5909132的专栏
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ （二）使用 HDFS 协议访问的优势是什么？ 以往基于对象存储 COS 的大数据访问主要采用 Hadoop-COS 工具来访问。 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 7、所有环境配置完成后，可以在客户端使用 Hadoop 命令行来查看是否挂载成功，如下图所示： 您也可以登录 COS控制台（https://console.cloud.tencent.com/cos） ，查看存储桶文件列表，明确文件和目录是否一致，例如： 通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml
2.1K10编辑于 2022-05-07 - 来自专栏腾讯云存储
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 存储桶在开启元数据加速功能后，可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。有关元数据加速的详细介绍，请参考元数据加速器。 （二）使用 HDFS 协议访问的优势是什么？ 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 7、所有环境配置完成后，可以在客户端使用 Hadoop 命令行来查看是否挂载成功，如下图所示： 您也可以登录 COS控制台，查看存储桶文件列表，明确文件和目录是否一致，例如： 通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS 协议相关挂载点信息，如准备工作中所示； 2、Hive
3.5K81编辑于 2022-05-06 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722图片我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 ，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit LogRocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 图片讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
5.7K180编辑于 2023-04-06 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁 我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 rocketmq-all-4.9.3/store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L1547-L1587 Commit Log存储协议 我整理后， 如下图； 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue
48520编辑于 2023-10-08 - 来自专栏IPFS最前沿
分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？
分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？ 分布式存储协议靠谱吗？ 2021年4月22日到23日华为在杭州举办《数据存储用户精英论坛-分布式存储协议分布式存储分论坛》，全面发力分布式存储协议&星际文件系统分布式存储行业。 并且早在2020年，华为就开始布局分布式存储协议&星际文件系统分布式存储行业。 2021年4月23日在成都举办《2021数御未来-2021数据与存储产业峰会》，全球最大的信息技术和业务解决方案公司IBM开始布局分布式存储协议&星际文件系统分布式存储，这是继华为、阿里、联想、戴尔、浪潮等布局分布式存储协议 此前，复旦大学成立分布式存储协议系统研究院&分布式存储协议课题研发小组。并且北京、上海、苏州等地方政府出台多项政策，扶持区块链产业发展，加快区块链人才培养和引进。
1.4K40发布于 2021-04-29 - 来自专栏侯哥的Python分享
Mysql高级7-存储过程
一、介绍 存储过程是事先经过编译并存储在数据库中的一段sql语句的集合，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提高数据处理的效率是有好处的。 二、存储过程的特点 封装、复用 可以接收参数，也可以返回数据 减少网络交互，效率提升 三、存储过程语法 3.1 创建语法 create procedure 存储过程名称 ([参数列表]) begin when month >= 4 and month <= 6 then -> set result := "第二季度"; -> when month >=7 sql逻辑.... end while; 案例：计算从1累加到n的值，n为传入的参数值 mysql> delimiter & mysql> mysql> create procedure p7( -> end; -> & Query OK, 0 rows affected (1.56 sec) mysql> delimiter ; mysql> mysql> call p7(
1.1K81编辑于 2023-08-15 - 来自专栏大数据和云计算技术
MongoDB系列7：MongoDB存储引擎
1、前言 存储引擎是数据库的组成部分，负责管理数据存储。 MongoDB支持的以下存储引擎： 存储引擎描述WiredTiger存储引擎从MongoDB 3.2开始默认的存储引擎，新的版本MongoDB推荐使用WiredTiger存储引擎。 MMAPv1存储引擎MMAPv1是MongoDB 3.2之前版本默认的存储引擎。In-Memory存储引擎MongoDB企业版支持In-Memory存储引擎。 表 2、WiredTiger存储引擎 从MongoDB 3.2开始，MongoDB默认的存储引擎为WiredTiger存储引擎。 4、MMAPv1存储引擎 MMAPv1存储引擎是3.2版本之前的默认存储引擎。它利用集合级并发性和内存映射文件访问底层数据存储。内存管理委托给操作系统。
2.7K60发布于 2018-03-30 - 来自专栏用户1692782的专栏
手撕RTSP协议系列（7）——PLAY
a946c352dd3ad04cf9830d5e72ffb11e", uri="rtsp://192.17.1.63:554/", response="9ea6c2659d3bce8d129ca3549ecc7fbf
2.9K51发布于 2020-10-30 - 来自专栏mukekeheart的iOS之旅
OC学习7——类别、扩展和协议
() 3 @property(nonatomic, strong) NSString *color; 4 -(void) drive:(NSString *)name; 5 @end 6 7 All rights reserved. 7 // 8 9 #import <Foundation/Foundation.h> 10 11 @protocol Women <NSObject> All rights reserved. 7 // 8 9 #import <Foundation/Foundation.h> 10 11 @protocol Man <NSObject> 12 All rights reserved. 7 // 8 9 #import <Foundation/Foundation.h> 10 #import "Women.h" 11 #import " All rights reserved. 7 // 8 9 #import "SuperMan.h" 10 #define MAX_CACHE_LINE 10 11 12 @implementation
91260发布于 2018-02-27 - 来自专栏瓜农老梁
Nacos7# Distro协议增量同步
引言 本文接着撸Distro协议，上文中分析了在Nacos server启动时会进行全量数据同步和数据校验，具体数据即客户端注册节点信息含命名空间、分组名称、服务名称、节点Instance信息等。 request.getGroupName(), request.getServiceName(), true); switch (request.getType()) { // 注解@7 , String.format("Unsupported request type %s", request.getType())); } } 注解@7
1.4K31发布于 2021-07-14 - 来自专栏用户1692782的专栏
手撕rtmp协议细节（7）——createStream
创建完RTMP连接之后就可以创建或者访问RTMP流，对于推流端，客户端要向服务器发送一个releaseStream命令消息，之后是createStream命令消息，对于拉流端，则要发送play消息请求视频资源。我们先来看看推流端的消息流程，当发送完createStream消息之后，解析服务器返回的消息会得到一个stream ID, 这个ID也就是以后和服务器通信的 message stream ID, 一般返回的是1，不固定。
2.3K30发布于 2020-05-26 - 来自专栏用户7358413的专栏
去中心化存储协议是否能取代中心化云存储？
什么是去中心化存储协议 去中心化存储协议是基于区块链技术，引入了通证经济模型的生态激励体系，来实现数据分布式、分片式存储在多个网络节点上。 基于区块链搭建的云存储协议具备区块链去中心化、分散以及加密存储的特性，构建了一个可靠的、分散的数据存储机制。 在去中心化存储协议中，所有数据块都会经过验证。 四个去中心化存储协议项目的对比及数据表现 去中心化存储协议都基于区块链技术建立的，支持分散的、信任最小化的、抗审查的数据存储。 总体上，目前去中心化存储协议发展还相对缓慢。 Footprint Analytics: Filecoin 市值稳占去中心化存储协议第一把交椅 总结 去中心化存储协议，是云存储的一个有效补充。 在各国政策以及市场共识不一的前提下，中心化存储协议依旧会是目前主流的存储方式。
1.1K20编辑于 2021-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号