- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储知识
底层存储协议介绍
在存储系统中，HDD 磁盘和早期 SSD 磁盘的传输协议一般采用AHCI（高级主机控制器接口，Advanced Host Controller Interface）。 AHCI 协议已经不能满足高性能和低延时 SSD 的需求，因此，存储系统迫切需要更快、更高效的协议和接口，NVMe（NVM Express）协议应运而生。 在网络协议层，30 年来，存储网络都是以 SCSI（小型计算机系统接口，Small Computer System Interface）协议为基础框架，前端传输网络层一直以 FC（光纤通道，Fiber 3.数据保护、备份和恢复：随着数据的增长，传统的备份系统变得越来越复杂并且对网络造成负担。数据越多，备份所需的时间越长，停机时间越长。此外，灾难发生后，恢复数据可能需要数天时间。 4.节约成本：使用iSCSI SAN，组织可以通过多种方式立即降低成本：1) 通过简化网络架构并消除对昂贵存储扩展硬件的持续需求，2) 减轻管理网络的 IT 人员的人力成本，3) 通过性能更高的系统提高整个组织的生产力
1.3K50编辑于 2021-12-09 - 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 》）项目地址：https://gitee.com/code2roc/local-s3运行jar包，默认信息如下api地址：http://localhost:8001/s3用户名：admin密码：abcd @1234概述s3协议无标准说明文档，为rest风格，创建/删除/详情方法通过PUT/DELETE/HEAD表述很多方法共用一个路由，通过head参数区分（例如putObject和copyObject） () { S3Client s3 = S3Client.builder() .credentialsProvider(StaticCredentialsProvider.create
1.9K31编辑于 2023-07-23 - 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景 公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 》） 项目地址：https://gitee.com/code2roc/local-s3 运行jar包，默认信息如下 api地址：http://localhost:8001/s3 用户名：admin 密码 ：abcd@1234 概述 s3协议无标准说明文档，为rest风格，创建/删除/详情方法通过PUT/DELETE/HEAD表述 很多方法共用一个路由，通过head参数区分（例如putObject和copyObject getClient() { S3Client s3 = S3Client.builder() .credentialsProvider(StaticCredentialsProvider.create
1.3K30编辑于 2023-07-25 - 来自专栏夜梦星尘的折腾日记
使用python连接雨云对象存储（基于S3协议的对象存储的实践）
前言 以下内容引用自雨云官方文档： 有时候我们需要使用代码控制使用对象存储，比如上传、下载文件等。如需要使用Python控制对象存储，我们可以使用Boto3框架操作。 有关更多Boto3框架的操作可以参考AWS SDK for Python (Boto3) 首先我们需要在Python项目安装并引入bob3包： pip install boto3 然后我们可以使用以下代码来连接到对象存储 ： import boto3 endpoint_url = 'https://cn-sy1.rains3.com' access_key = '填入雨云对象存储的 AccessKey' secret_key = '填入雨云对象存储的SecretKey' s3 = boto3.client('s3', 实践 归根结底雨云ROS使用的是S3协议，我们只需要借助boto3就可以完成雨云对象存储（ROS）的基础操作了，例如上传图片、文件到指定文件夹指定路径中。
35010编辑于 2025-10-18 - 来自专栏存储知识
三大存储协议介绍与存储资源盘活系统
存储协议目前主流的有三种，AHCI、NVMe、SCSI。 SCSI即小型计算机接口（Small Computer System Interface），指的是一个庞大协议体系，到目前为止经历了SCSI-1/SCSI-2/SCSI-3变迁。 通俗点说SCSI协议就是一个存储设备与服务器之间接口通讯的一个规范。 3.数据保护、备份和恢复：随着数据的增长，传统的备份系统变得越来越复杂并且对网络造成负担。数据越多，备份所需的时间越长，停机时间越长。此外，灾难发生后，恢复数据可能需要数天时间。 4.节约成本：使用iSCSI SAN，组织可以通过多种方式立即降低成本：1) 通过简化网络架构并消除对昂贵存储扩展硬件的持续需求，2) 减轻管理网络的 IT 人员的人力成本，3) 通过性能更高的系统提高整个组织的生产力
1.9K30编辑于 2022-04-14 - 来自专栏c++与qt学习
通过S3协议实现通用的文件存储服务中间件
通过S3协议实现通用的文件存储服务中间件 ---- 引言 在日常开发文件上传相关服务时，通常都会选择腾讯云,阿里云,七牛云等提供的oss服务作为文件存储系统,如果需要自行搭建文件存储系统，通常则会采用minio 基本所有云服务厂商提供的oss服务和开源的oss项目都遵循了S3协议，是Simple Storage Service的缩写，即简单存储服务，因此其实我们这里利用这一点，写出一个通用的文件中间件，利用该中间件后 ，我们写的客户端api就对任何实现了S3协议的oss服务进行访问。 version>2.7.3</version> <optional>true</optional> </dependency> </dependencies> 构建通用的遵循S3协议的 ; import java.io.IOException; import java.io.InputStream; import java.net.URL; /** * s3 是一个协议 * S3
6.7K20编辑于 2022-09-28 - 来自专栏腾讯云中间件的专栏
重新理解RocketMQ Commit Log存储协议
3、Java写的文件，默认是大端序还是小端序，为什么？ Commit Log真实分布 在大家思考之际， 我们回想下commit log是怎么分布的呢? Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 我整理后， 如下图： 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 并且上文中图 “Commit Log存储文件分布抽象”中的有误解，每个小方格的大小其实是不一样的。 3、Java写的文件，默认是大端序还是小端序，为什么？ 大端序。 讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
41810编辑于 2023-05-19 - 来自专栏用户5909132的专栏
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ （二）使用 HDFS 协议访问的优势是什么？ 以往基于对象存储 COS 的大数据访问主要采用 Hadoop-COS 工具来访问。 3、开启 HDFS 协议开关后，需要配置 VPC 访问权限。 ，明确文件和目录是否一致，例如： 通过 HDFS 协议访问 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS /product/1105/47062)； 3、默认情况下，采用原生 POSIX ACL 方式进行鉴权，如果需要使用 Ranger 鉴权，可以参考 Ranger 相关原理和实践访问，参考文档(https
2.1K10编辑于 2022-05-07 - 来自专栏腾讯云存储
使用 HDFS 协议访问对象存储服务
腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 3、开启 HDFS 协议开关后，需要配置 VPC 访问权限。 当您使用 HDFS 协议访问时，推荐通过配置 HDFS 权限授权指定 VPC 内机器访问 COS 存储桶，以便获取和原生 HDFS 一致的权限体验。 COS 大数据场景下，您可以参考如下步骤以 HDFS 协议访问开启元数据加速能力的存储桶： 1、在 core-stie.xml 中配置 HDFS 协议相关挂载点信息，如准备工作中所示； 2、Hive ，MR，Spark 等组件访问存储桶，参考文章 CDH 访问大数据来进行大数据访问； 3、默认情况下，采用原生 POSIX ACL 方式进行鉴权，如果需要使用 Ranger 鉴权，可以参考 Ranger
3.5K81编辑于 2022-05-06 - 来自专栏图像识别与深度学习
2018-12-09基于AWS S3协议搭建个人云存储服务
基于AWS S3协议搭建个人云存储服务 su root mkdir /data mkdir /data/aws_s3 wget https://dl.minio.io/server/minio/release /linux-amd64/minio mv minio /usr/local/bin/ chmod +x /usr/local/bin/minio minio server /data/aws_s3/ Endpoint: http://192.168.1.105:9000 http://127.0.0.1:9000 AccessKey: Q3RZEATLVD576K68LVEM SecretKey : wshme+3zXBqF3e15XDLEbZ6VxGeEBUPdjILsRep5 Browser Access: http://192.168.1.105:9000 http://127.0.0.1 wshme+3zXBqF3e15XDLEbZ6VxGeEBUPdjILsRep5 Object API (Amazon S3 compatible): Go: https://docs.minio.io
2.2K30发布于 2018-12-25 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
如图中第1个文件，1，2，3，4...表示这个文件的第几个消息，可以看到第1234个消息是第1个Commit Log文件的最后一个消息，第1235个消息是第2个Commit Log的第1个消息。 3. Commit Log存储协议关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 ，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit LogRocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue 图片讨论说明：由于RocketMQ一些版本可能有差异，本文在4.9.3版本下讨论，大家可以参考这个方法，解开5.0甚至其他版本，其他数据文件的存储协议格式。
5.7K180编辑于 2023-04-06 - 来自专栏魔都程序缘
重新理解RocketMQ Commit Log存储协议
如图中第1个文件，1，2，3，4...表示这个文件的第几个消息，可以看到第1234个消息是第1个Commit Log文件的最后一个消息，第1235个消息是第2个Commit Log的第1个消息。 main/java/org/apache/rocketmq/store/CommitLog.java#L676-L722 append加锁 我们看到Commit Log文件中有很多个消息，按照既定的协议存储的 3. Commit Log存储协议 关于Commit Log存储协议，我们问了下ChatGPT， 它是这么回复我的，虽然不对，但是这个回复格式和说明已经非常接近答案了。 我整理后， 如下图； 我理解的Commit Log存储协议 说明1：我整理后的消息协议编号和代码中不是一致的，代码中只是标明了顺序， 真实物理文件中的存储协议会更详细。 用Golang解开RocketMQ Commit Log RocketMQ是用java写的，根据上文描述的存储协议，我用Golang编写了一个工具，可以解开Commit Log和Cosumer Queue
48520编辑于 2023-10-08 - 来自专栏IPFS最前沿
分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？
分布式存储热度越来越高，吸引了许多投资者的目光，得到了广泛的关注和肯定。不少投资者想要布局分布式存储，但是对这个技术了解不够深入，不知道分布式存储协议靠谱吗？分布式存储协议会被国家禁止吗？ 分布式存储协议靠谱吗？ 2021年4月22日到23日华为在杭州举办《数据存储用户精英论坛-分布式存储协议分布式存储分论坛》，全面发力分布式存储协议&星际文件系统分布式存储行业。 并且早在2020年，华为就开始布局分布式存储协议&星际文件系统分布式存储行业。 2021年4月23日在成都举办《2021数御未来-2021数据与存储产业峰会》，全球最大的信息技术和业务解决方案公司IBM开始布局分布式存储协议&星际文件系统分布式存储，这是继华为、阿里、联想、戴尔、浪潮等布局分布式存储协议 此前，复旦大学成立分布式存储协议系统研究院&分布式存储协议课题研发小组。并且北京、上海、苏州等地方政府出台多项政策，扶持区块链产业发展，加快区块链人才培养和引进。
1.4K40发布于 2021-04-29 - 来自专栏全栈程序员必看
什么是igmp协议_igmpv3协议
文章目录 IGMP协议 定义 功能 IGMPv1 主机加入 主机离开 查询器选举 成员报告抑制机制 IGMPv2 主机加入 主机离开 查询器选举 成员报告抑制机制 IGMPv3 主机上维护的组播信息 路由器维护的组播信息 IRF形成的必要条件 配置步骤 相关命令 IGMP协议 定义 组播组管理协议 功能 管理主机加入和离开组播组 维护本地组播组信息表 IGMPv1 主机加入 路由器向开启了IGMP的端口发送查询报文，询问该接口下有没有组播接收者 ]igmp //进入IGMP视图 [h3c]igmp version 'version' //配置IGMP版本 [h3c-GigabitEthernet0/0]igmp enable / [h3c]irf member 'member-id' renumber 'new-member-id'//更改IRF设备ID [h3c]irf-port-configuration active 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
1.5K40编辑于 2022-10-05 - 来自专栏全栈程序员必看
IGMP协议_igmp协议常用3种报文
三、IGMP的版本 到目前为止，IGMP 有三个版本：IGMPv1、IGMPv2、IGMPv3 IGMPv1 ：主机可以加入组播组。没有离开信息（leave messages）。 IGMPv3 ：与以上两种协议相比，该协议的主要改动为：允许主机指定它要接收通信流量的主机对象。来自网络中其它主机的流量是被隔离的。 IGMPv3 也支持主机阻止那些来自于非要求的主机发送的网络数据包。 在交换机上部署了组播VLAN功能后，上游路由器不必在每个用户VLAN（VLAN2和VLAN3）内都复制一份组播流，而是数据流在组播VLAN（VLAN4）内复制一份后发送给二层设备。 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
3.5K20编辑于 2022-10-05 - 来自专栏技术杂记
Mysql 优化存储3
结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl
34320编辑于 2022-03-21 - 来自专栏Android开发指南
3.数据存储
在内部文件的读取 **内部存储(internal storeage) ram:运行时期的内存 (相当于电脑的内存) rom；存储的内存 (相当于电脑的硬盘) ，sd卡路径：storage/sdcard * 所有存储设备，都会被划分成若干个区块，每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量 一般的术语:手机自带的32G，指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后， 就可以开始向SharedPreferences文件中存储数据了，主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交，从而完成数据存储操作。
1.2K70发布于 2018-05-14 - 来自专栏python3
KVM专题（3）存储
KVM存储模式 基于文件系统的存储 dir:目录格式的存储 fs:磁盘分区存储 neyfs:网络共享文件存储 基于设备的存储 Disk：物理硬盘存储 Iscsi:iSCSITarget后端存储 logical : 存储池的基本概念 Libvirt可以以存储池的形式对存储进行统一管理、简化操作 对于虚拟机操作来说，存储池和卷并不是必须的 ? gpt格式 准备xml文件 <pool type='disk'> <name>guest_images3_fs</name> <source> <device path='/dev/sdc virsh pool-start guest_images<em>3</em>_fs :启动<em>存储</em>池 创建基于iscsi的<em>存储</em>池 在iscsi Target服务器上面安装target服务，并配置 /backstores/ <em>存储</em>卷 ?
1.3K10发布于 2020-01-10 - 来自专栏开发技能乱炖
3-数据存储之文件存储(1)
一 简单介绍： 我们前面很少将提取的数据或者获取的源码保存下来；其实日常的工作中在解析出数据后接下来就是存储数据。 熟悉/了解上面的知识点后(详细信息：菜鸟教程/w3school)，我们实例一下； 小说网站：https://xs.sogou.com/mianfei/ 获取书名、简洁并保存为txt文件： import JSON文件存储: 先官方话了解一下： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 3). CSV文件存储： 使用csv文件存储，我理解的就是表格存储，Excel都用过吧，就是那个;接下来我们分文件的写入跟读取两部分分开讲解，请系好安全带(如果非要介绍定义的话，请百度…我就是懒)； 简单写入，
1.9K30发布于 2019-11-12 - 来自专栏后端码事
proto3 协议指引
二、下面以一个简单地示例开始： proto3 文件：.proto syntax = "proto3"; message SearchRequest { string query = 1; int32 page_number = 2; int32 result_per_page = 3; } 第一行声明当前使用的proto3版本协议语法（proto编译器默认使用proto2版本协议语法），声明必须为文件的第一行 long[1] sint32 使用可变长编码，存储有符号整数。尤其对负数编码效率更高。 int sint64 使用可变长编码，存储有符号整数。尤其对负数编码效率更高。 存储值>228时，存储效率高于uint32。 int[1] fixed64 八字节空间占用。存储值>256时，存储效率高于uint64。 5、byte3存储值为有效UTF-8编码内容时与string相互兼容。 七、未知字段 未能对应解析的字段会存储于未知字段中。此机制在proto3中最初抛弃，v3.5版本重新引入。
2.5K10发布于 2021-02-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号