- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储知识
底层存储协议介绍
在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI（高级主机控制器接口，Advanced Host Controller Interface）。 对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。 AHCI 协议已经不能满足高性能和低延时 SSD 的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe（NVM Express）协议应运而生。 在网络协议层，30 年来，存储网络都是以 SCSI（小型计算机系统接口，Small Computer System Interface）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber EqualLogic建立在虚拟化对等存储架构之上，为小型到大型组织简化和自动化数据存储。
1.3K50编辑于 2021-12-09 - 来自专栏存储知识
三大存储协议介绍与存储资源盘活系统
存储协议目前主流的有三种，AHCI、NVMe、SCSI。 对于 HDD 这种慢速设备来说，主要瓶颈在存储设备，而非 AHCI协议。不同于 HDD 的顺序读写特点，SSD 可以同时从多个不同位置读取数据，具有高并发性。 通俗点说SCSI协议就是一个存储设备与服务器之间接口通讯的一个规范。 提到HBlock，一个更加普及的名字恐怕是存储资源盘活系统。存储资源盘活系统通过标准iSCSI协议提供虚拟Target和逻辑卷。它可以通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。 因此，无论使用哪种存储协议，存储资源盘活系统都可以将各种服务器、空闲磁盘整合为统一高性能资源池，灵活调度、分配、使用、上云，打造无缝融入现有业务的存储系统。
1.8K30编辑于 2022-04-14 - 来自专栏腾讯云中间件的专栏
重新理解RocketMQ Commit Log存储协议
main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁 我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 我整理后， 如下图： 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
41510编辑于 2023-05-19 - 来自专栏用户5909132的专栏
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ （二）使用 HDFS 协议访问的优势是什么？ 以往基于对象存储 COS 的大数据访问主要采用 Hadoop-COS 工具来访问。 如果是第一次创建元数据加速存储桶，则需要按照提示进行相应的授权操作，点击授权完成后，将自动开启 HDFS 协议，并且看到默认的 Bucket 挂载点信息，如下图所示： 说明：如果提示未找到对应的 HDFS 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 ，明确文件和目录是否一致，例如： 通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS
2K10编辑于 2022-05-07 - 来自专栏腾讯云存储
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 存储桶在开启元数据加速功能后，可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。有关元数据加速的详细介绍，请参考元数据加速器。 （二）使用 HDFS 协议访问的优势是什么？ 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 注意：fs.ofs.region 必须配置，该参数用于指定存储桶所在的 COS 地域，如ap-shanghai。 6、下载 HDFS 协议访问的客户端安装包，请确保安装包的版本在 2.7及其以上。 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS 协议相关挂载点信息，如准备工作中所示； 2、Hive
3.5K81编辑于 2022-05-06 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722图片我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 ，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit LogRocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 图片讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
5.7K180编辑于 2023-04-06 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁 我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 rocketmq-all-4.9.3/store/src/main/java/org/apache/rocketmq/store/CommitLog.java#L1547-L1587 Commit Log存储协议 我整理后， 如下图； 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue
48020编辑于 2023-10-08 - 来自专栏IPFS最前沿
分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？
分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？ 分布式存储协议靠谱吗？ 2021年4月22日到23日华为在杭州举办《数据存储用户精英论坛-分布式存储协议分布式存储分论坛》，全面发力分布式存储协议&星际文件系统分布式存储行业。 并且早在2020年，华为就开始布局分布式存储协议&星际文件系统分布式存储行业。 2021年4月23日在成都举办《2021数御未来-2021数据与存储产业峰会》，全球最大的信息技术和业务解决方案公司IBM开始布局分布式存储协议&星际文件系统分布式存储，这是继华为、阿里、联想、戴尔、浪潮等布局分布式存储协议 此前，复旦大学成立分布式存储协议系统研究院&分布式存储协议课题研发小组。并且北京、上海、苏州等地方政府出台多项政策，扶持区块链产业发展，加快区块链人才培养和引进。
1.4K40发布于 2021-04-29 - 来自专栏用户7358413的专栏
去中心化存储协议是否能取代中心化云存储？
什么是去中心化存储协议 去中心化存储协议是基于区块链技术，引入了通证经济模型的生态激励体系，来实现数据分布式、分片式存储在多个网络节点上。 基于区块链搭建的云存储协议具备区块链去中心化、分散以及加密存储的特性，构建了一个可靠的、分散的数据存储机制。 在去中心化存储协议中，所有数据块都会经过验证。 四个去中心化存储协议项目的对比及数据表现 去中心化存储协议都基于区块链技术建立的，支持分散的、信任最小化的、抗审查的数据存储。 总体上，目前去中心化存储协议发展还相对缓慢。 Footprint Analytics: Filecoin 市值稳占去中心化存储协议第一把交椅 总结 去中心化存储协议，是云存储的一个有效补充。 在各国政策以及市场共识不一的前提下，中心化存储协议依旧会是目前主流的存储方式。
1.1K20编辑于 2021-12-23 - 来自专栏Pseudoyu
IPFS 分布式存储协议分析与思考
概述 我们日常使用网盘或其他服务时大多都是访问文件所在的特定的服务器（IP 地址），请求文件并下载到本地，通过的是 HTTP 协议，本质上是基于位置寻址的，访问 URL 来得到一层层找到具体的文件，这种方式固然便捷 试想我们把文件存储在一个分布式网络里，每个节点都可以存储文件，用户可以通过访问一个类似目录索引的方式来向最近的节点互相请求文件。 这就是 IPFS 星际文件系统的解决思路，它是一个点对点的超媒体文件存储、索引、交换协议，由 Juan Benet 在 2014 年 5 月发起。 如果这个文件是自己刚在本地节点通过add命令添加的话就会通过这种方式被上传到 IPFS 网络上），在swarm网络中通过DHT Routing获取到数据后，网关会自己先缓存一份，然后将数据通过 HTTP 协议发给我们 总结 以上就是对 IPFS 分布式存储原理的梳理，它的组件、存储流程细节、GC 机制、数据交换模块 Bitswap、网络以及实际应用场景都有很多值得深入挖掘的部分。
1.3K20编辑于 2023-04-11 - 来自专栏存储公众号：王知鱼
SNIA：未来存储接口、协议的管理方式
计算功能集成到存储驱动（如 CSD，计算存储驱动器）中，减小延迟。 提到 API 定义 的位置，用于协调计算和存储之间的交互。 NVMe-TCP 传输层：通过 Send CMD 和 Receive RSP 等协议通信。 同时管理 CXL 和存储。 图片展示了存储层网络（Fabrics ）技术的扩展趋势： NVMe-oF通过高效传输协议支持主机与控制器的通信。 它基于常见的 HTTP 协议，通过发送和接收 JSON 格式的数据 来与设备交互。 你可以把它理解为一个专门设计的“遥控器”，帮助用户或自动化工具远程管理数据中心中的硬件资源。 网络和存储的融合： Fabric 资源（如交换机、端点、区域）和存储资源（如存储池、控制器）在一个框架内统一管理。
71300编辑于 2025-02-11 - 来自专栏ZooKeeper原理和源码
zk源码—7.ZAB协议和数据存储
大纲1.两阶段提交Two-Phase Commit(2PC)2.三阶段提交Three-Phase Commit(3PC)3.ZAB协议算法4.ZAB协议与Paxos算法5.zk的数据存储原理之内存数据6 .zk的数据存储原理之事务日志7.zk的数据存储原理之数据快照8.zk的数据存储原理之数据初始化和数据同步流程1.两阶段提交Two-Phase Commit(2PC)(1)数据库事务通过undo和redo zk存储了整棵树的内容，包括所有的节点路径、节点数据及ACL信息等。zk会定时将整棵树的数据存储到磁盘上。 DataTree用于存储所有zk节点的路径、内容及其ACL信息，它的核心存储结构是一个ConcurrentHashMap类型的nodes。 6.zk的数据存储原理之事务日志(1)事务日志的存储(2)事务日志的写入之FileTxnLog的创建(3)事务日志的写入之FileTxnLog写入日志的步骤(4)事务日志截断(1)事务日志的存储部署zk
21000编辑于 2025-07-14 - 来自专栏夜梦星尘的折腾日记
使用python连接雨云对象存储（基于S3协议的对象存储的实践）
前言 以下内容引用自雨云官方文档： 有时候我们需要使用代码控制使用对象存储，比如上传、下载文件等。如需要使用Python控制对象存储，我们可以使用Boto3框架操作。 key后，直接运行代码，如果配置正确并且网络通畅，你将会看到输出的存储桶名。 实践 归根结底雨云ROS使用的是S3协议，我们只需要借助boto3就可以完成雨云对象存储（ROS）的基础操作了，例如上传图片、文件到指定文件夹指定路径中。 bucket即为存储桶名，如果你要存到名为a的桶，即填写a。 prefix即为存储路径，比如你要存到a存储桶中upload文件夹，那么就填写upload。 然后我们就可以添加文件上传了： 上传成功后，会自动复制链接到剪切板，如果需要访问，在开启存储示例与存储桶的公共访问后，既可在浏览器中直接访问。
32710编辑于 2025-10-18 - 来自专栏NLP小白的学习历程
分布式存储的三阶段提交协议
分布式存储的三阶段提交协议 三阶段提交是为解决两阶段提交协议的缺点而设计的。与两阶段提交不同的是，三阶段提交是“非阻塞”协议。
91920发布于 2020-11-13 - 来自专栏存储公众号：王知鱼
【存储100问】FC 协议原理与以太网比较
协议栈与机制 光纤通道协议（FC）是一个由五个层组成的传输协议：FC-0、FC-1、FC-2、FC-3 和 FC-4 。 FC-4（协议映射层）： 作为 FC 协议栈的最上层，FC-4 负责将上层协议（ULP），如 SCSI（小型计算机系统接口）、IP（互联网协议）和 NVMe（非易失性内存高速接口），映射到光纤通道结构上 协议栈与机制 TCP/IP 协议栈： 以太网作为传输控制协议/互联网协议（TCP/IP）栈中的基础链路层运行，该协议栈管理数据在 IP 网络（如互联网）中的传输。 以太网在链路层本质上被设计为一种“尽力而为”或“有损”协议，这意味着它不保证数据包的传输，并依赖于更高层协议（如 TCP）进行错误恢复。 然而，实际有效吞吐量可能会受到各种协议开销（例如，TCP/IP 报头、多端口链路聚合控制协议（LACP）绑定开销）和网络条件的影响 。
1.3K10编辑于 2025-06-07 - 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 https://gitee.com/code2roc/local-s3运行jar包，默认信息如下api地址：http://localhost:8001/s3用户名：admin密码：abcd@1234概述s3协议无标准说明文档
1.8K31编辑于 2023-07-23 - 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景 公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 gitee.com/code2roc/local-s3 运行jar包，默认信息如下 api地址：http://localhost:8001/s3 用户名：admin 密码：abcd@1234 概述 s3协议无标准说明文档
1.3K30编辑于 2023-07-25 - 来自专栏DPU
如何优化DPU上存储协议(NVMe Over TCP)卸载的性能?
术语NVMe OTCP: 在TCP上跑Nvme存储协议PDU: 协议数据单元TOE: TCP 卸载引擎HDS: header-data-split, 报文头数据分割, 通过将接收到的以太网帧中的标头和数据拆分到单独的缓冲区来提高网络性能 data placement (DDP), 直接数据放置Nvme Over TCP简介NVMe-TCP 是一种基于 TCP 的高性能流水线存储协议，它抽象了对存储控制器的远程访问，为主机提供了本地存储的幻觉 议题图片存储的分类DPU上Nvme Over TCP存储协议卸载的问题和解决方案未来工作存储分类及特点图片计算和存储资源是分离的存储一般放在专门集中的数据中心这样做的优点允许横向扩展(加机器方便)和更高效率 + 以太网)智能网卡和DPU已经支持云或虚机下的NVMeOTCP对于NvmeOTCP, DPU提供额外的控制面Initiator端卸载能力智能网卡与虚拟机下的存储特点图片智能网卡提供以太连接和协议卸载( 今年的议程安排十分紧凑，包含了 80 多场技术讲座，能让人深入了解人工智能 / 机器学习、CXL、Computational Storage（计算型存储）、数据基础设施、文件系统与协议等诸多领域的最新进展
94410编辑于 2024-11-23 - 来自专栏TSINGSEE青犀视频
安防视频监控视频集中存储云存储平台EasyCVR无法播放HLS协议该如何解决？
视频云存储/安防监控EasyCVR视频汇聚平台基于云边端智能协同，支持海量视频的轻量化接入与汇聚、转码与处理、全网智能分发、视频集中存储等。 音视频流媒体视频平台EasyCVR拓展性强，视频能力丰富，具体可实现视频监控直播、视频轮播、视频录像、云存储、回放与检索、智能告警、服务器集群、语音对讲、云台控制、电子地图、H.265自动转码H.264 近期有用户反馈，在视频业务综合管理EasyCVR平台部署完毕后，除了HLS协议播放，各项功能均可正常使用。 收到用户反馈后，技术人员立即开展排查解决，以下为解决步骤：1、首先根据问题描述，技术人员通过HLS协议特点进行录像设置，看是否能产生切片ts文件，初步判断磁盘是否能正常写入；2、进行设置后发现，录像切片可以正常写入磁盘 视频集中存储/云存储/视频监控管理平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等。
82020编辑于 2023-08-29 - 来自专栏Windows技术交流
Server2003不兼容云上的nfs协议的文件存储
for NFS (必须启动) Remote Procedure Call (RPC) Locator (必须启动) User Name Mapping (必须启动) 但很遗憾，几乎所有的云厂商的文件存储都不支持
9010编辑于 2026-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号