- 综合排序
- 最热优先
- 最新优先
- 来自专栏超级架构师
【存储】2022 年的 4 个开源对象存储平台
介绍 在处理大量非结构化数据时，我们需要一个地方来存储它。我们选择存储数据的方式有很多种，但今天我们要关注的一种是对象存储或基于对象的存储。 如果您不熟悉它，对象存储是一种数据存储架构，允许您将大量非结构化数据存储在可扩展的对象结构中。它将数据存储为具有元数据和唯一标识符的对象，从而更容易访问该数据。现在，有许多平台提供对象存储设施。 2.Ceph Ceph 是对象存储、块存储和文件系统的开源平台。它提供与 Amazon 的 S3 REST API 和 OpenStack 的 API Swift 完全兼容的对象存储功能。 4.OpenIO OpenIO 是一种开源对象存储解决方案，用于管理和保护大量非结构化数据。它允许您构建和操作具有弹性且安全的大规模存储基础架构。 本文 https://jiagoushi.pro/4-open-source-object-storage-platforms-2021 讨论：知识星球【首席架构师圈】或者加微信小号【cea_csa_cto
13.3K10编辑于 2022-03-08 - 来自专栏玩转VPS
Chevereto V4的进阶使用：挂载外部对象存储拓展存储空间
文章首发于若绾 Chevereto V4的进阶使用：挂载外部对象存储拓展存储空间，转载请注明出处在这篇博客文章中，我们将介绍如何在 Chevereto V4 中挂载外部存储对象存储。 由于我们的图床往往运行在VPS上，在容量不够的时候我们可以通过S3对象存储拓展我们图床的存储空间。前提条件在开始之前，确保您已经完成了以下步骤：已经安装和配置好了 Chevereto V4。 （如何安装和配置可以看我之前的这片文章# 教你如何使用 Docker 安装 Chevereto V4 搭建属于自己的图床）已经有一个外部对象存储服务的账户，例如 Amazon S3、Google Cloud 图片在出现的对话框中需要填写以下信息：存储名称：自定义一个你喜欢的名字。API: 这里我们用的S3对象存储，所以就选择 S3 compatible区域：对象存储的存储区域。 你可以上传一张新的图片，并进入相册，如果图片正常显示，那就说明您已经成功地挂载了外部存储对象存储到 Chevereto V4了！大功告成
2.1K40编辑于 2023-05-12 - 来自专栏大数据和云计算技术
对象存储入门
与SAN存储以逻辑扇区为单位的较细粒度的固定I/O（512B～4KB）不同，对象存储I/O粒度更有弹性，支持几个字节（B）到数万亿字节（TB）范围内的任意对象大小，使得业务可以根据需要灵活地分割数据。 多租户特性可以使用同一种架构、同一套系统为不同用户和应用提供存储服务，并分别为这些用户和应用设置数据保护、数据存储策略，并确保这些数据之间相互隔离。 （4）数据完整性和安全性。 ]；分布式并行读/写带来的巨大吞吐量和在线/近线的存储模式有效降低了RTO[4]和RPO[5]。 4）归档和分级存储 对象存储通过与归档软件、分级存储软件结合，将在线系统中的数据无缝归档/分级存储到对象存储，释放在线系统存储资源。 4．与传统存储的比较 基于块的存储系统，磁盘块通过底层存储协议访问，像SCSI命令，开销很小而且没有其他额外的抽象层。
8.8K40发布于 2018-03-08 - 来自专栏山山仙人的专栏
Minio对象存储
官方文档地址：https://docs.min.io/cn 对于有需求不能或不使用云厂商提供的存储服务，例如阿里云的oss、七牛云的对象存储等，可以通过自建minio对象存储集群的方式 2、功能特性 Amazon S3兼容 Minio使用Amazon S3 v2 / v4 API。 加密的对象使用AEAD服务器端加密进行防篡改。 可对接后端存储 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。 4、分布式minio集群搭建 minio存储的部署方案在官网有很多，例如在docker-compose，kubernetes，DC/OS等环境下，本文采用的是较稳定的二进制部署方式。 一番折腾发现是不可行的，对于nginx基础认证，后端不支持非AWS4-HMAC-SHA256签名算法，可能出现如下图所示的返回结果： ?
10.1K41发布于 2020-04-29 - 来自专栏全栈开发那些事
MinIO对象存储
MinIO对象存储 1、MinIO简介 2、MinIO三种部署架构 3、MinIO特点 4、存储机制 5、Docker安装MinIO 6、利用Java客户端调用MinIO 6.1 引入依赖 6.2 添加配置文件 6.3 创建FileUploadController控制器 6.4 测试 1、MinIO简介 MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 4、存储机制 Minio使用纠删码erasure code和校验和checksum。 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 纠删码是一种恢复丢失和损坏数据的数学算法。 其实如果嫌自己搭建对象存储服务太麻烦的话，我以前也写过阿里云OSS和腾讯云OSS相关的文章，这些方式也非常方便。
10K30编辑于 2023-03-30 - 来自专栏后端JavaEE
对象存储OSS
endPoint = "oss-cn-beijing.aliyun.com"; //accessKey public static final String AccessKeyId = "LAI4GGrCjDWWxMwNpZWDLfC "; //accessKeySecret public static final String AccessKeySecret = "aRLe31h5H7r30SkcPS8P4mNw1Krlj1
40.9K20发布于 2021-01-20 - 来自专栏云服务器购买
对象存储COS-腾讯云对象存储服务COS
腾讯云对象存储 COS 安全稳定、海量、便捷、低延迟、低成本的云端存储服务 腾讯云对象存储服务COS详细介绍点击查看 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构 腾讯云 COS 的特性 稳定持久 腾讯云对象存储提供数据跨多架构、多设备冗余存储，为用户数据提供异地容灾和资源隔离功能，为每一个对象实现高达99.999999999%的数据持久性，保障您数据的耐久性高于其他存储架构 COS 还提供能够将存储桶挂载到本地的工具，让您能像使用本地文件系统一样直接操作腾讯云对象存储。 由于 UGC 通常具有时间维度级的访问特征，对象存储可将数据冷热分层，热数据使用标准存储，冷数据使用低频存储。配合生命周期规则配置，转换存储类别，有效降低存储成本。 对象存储支持存储 EB 级别非结构化数据，高可用、高可靠、高安全和可扩展性，结合使用腾讯云大数据套件，快速构建和部署分析应用程序。
21.2K71发布于 2019-08-06 - 来自专栏DevOps
块存储，文件存储及对象存储 比较
，这个约定就叫做文件系统，例如EXT4、FAT32、XFS、NTFS等。 方便文件共享：例如主机A（WIN7，NTFS文件系统），主机B（Linux，EXT4文件系统），想互拷一部电影，本来不行。 对象存储： 总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。 使用角度：平时最常见的一般就是百度网盘，其后端对接的就是对象存储。 对象存储接口的操作对象是对象，存储位置是大型分布式服务器. 3. 对象存储，也是文件系统一级提供服务，只是优化了目前的文件系统，采用扁平化方式，弃用了目录树结构，便于共享，高速访问。 访问协议：对象存储，主要操作对象是对象（Object）。
5.4K11编辑于 2024-03-29 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（一）
文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。 这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。 其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。 resources: requests: storage: 10Gi storageClassName: nfs-storage在上面的示例中，我们创建了一个名为“example-pod”的Pod对象 ，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。
7.9K20编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（二）
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。 块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。 iscsi-storage volumeMode: Block volumeName: example-block-volume在上面的示例中，我们创建了一个名为“example-pod”的Pod对象 ，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。 存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。
7.3K10编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（三）
对象存储对象存储是一种分布式存储方式，将数据保存在对象中，每个对象都有唯一的标识符，可以通过该标识符访问对象。 对象存储通常使用REST API（Representational State Transfer Application Programming Interface）来访问和管理对象，因此可以通过公共互联网访问 对象存储通常用于需要海量存储的应用程序，例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供，该集群由多个存储节点组成，可以水平扩展以增加存储容量和吞吐量。 下面是一个使用Amazon S3提供对象存储的示例：apiVersion: v1kind: Podmetadata: name: example-podspec: containers: - 存储提供者是Amazon S3存储服务，使用“s3-storage”存储类提供对象存储服务。
7.2K10编辑于 2023-05-03 - 来自专栏上云服务专题
传统存储和对象存储的区别
近几年是大数据的时代，其中有一个对象存储比较火，有一款“对象存储”的产品。对象存储到底是什么东西？它与传统存储方式，有什么区别呢？下面的文章就将为您分析对象存储和传统存储的区别。 以上是三种传统的存储方式，直连式存储被称为文件存储，网络附属存储和存储区域网络，被称为块存储。 对象存储 对象存储，顾名思义，它的操作对象是“对象。” image.png 对象存储系统会存储大量的对象，每一个对象都包含一个UID、数据主体和元素局三部分。 下面是一个对象地址的范例： 对象存储、文件存储和块存储本质上没有区别，它们的底层硬件介质，都是硬盘。不同的是，它们存储架构系统完全不同。 文件存储的操作对象是文件和文件夹，块存储的操作对象是磁盘，对象存储的操作对象是“对象。”
16.5K62编辑于 2021-12-15 - 来自专栏Ceph对象存储方案
对象存储基础概念
对象存储诞生之初 谈到为什么要有对象存储，必须聊聊对象存储诞生之前的两大存储模型：块存储和文件存储。 介绍完块存储和文件存储以后，终于轮到对象存储出场，那对象存储又是如何克服块存储和文件存储的短板？ 在介绍对象存储之前，需要各位特别注意的就是对象存储天生就带互联网基因，完美适配当前互联网场景下的各种爆炸式数据需求,具体表现为： 扁平化的命名空间 将数据以对象(Object)形式存储在以桶(Bucket 思想，互联网时代HTTP大行其道，到处都通行的RESTful风格被对象存储“一眼相中”，目前主流的对象存储在接口标准的实现上都提供RESTful风格的API，同时也衍生出各种语言的SDK，当然有些对象存储也实现了 在对象存储模型中，将每一条存储在其中的非结构化数据抽象成一个“对象”，一个对象(Object)主要由下面四部分组成: 键名(Key):用于标识对象的名称，通过Bucket name+ Key的组合来确定对象最终存储路径
6.5K40发布于 2018-03-26 - 来自专栏Hadoop实操
Hadoop 对象存储 Ozone
Current HDFS High Level Design 通常我们见到的一个HDFS集群，普通用户的上限是2亿个Block，有些能力特别强的用户群体，能做到4亿到6亿个Block。 如果按照这个理想状态每个Block的元数据占位都对应有128MB的数据块，那么理论情况下的存储上限是75 PB。 这个存储上限其实已经非常高了，对比今日甚至未来几年的需求，除了云服务提供商，几乎不会有其它的企业想去存储75PB的可用数据。 1 社区的一些改进 大体上讲，HDFS目前的问题有以下几个方面： 1 超大规模的扩展能力问题； 2 运维的复杂性问题； 3 应对云和实时的问题； 4 小文件问题。 2 由 HDFS 转变为 HDDS 为了把HDFS做的更加的通用和标准化，Hadoop社区由Anu Engineer带队，着手设计Apache Hadoop的对象存储方案，也就是今天人们熟知的Hadoop
6.6K40发布于 2019-10-31 - 来自专栏官网API实践
对象存储签名生成
String SHA1(String StringToSign) throws Exception{ char hexDigits[] = { '0', '1', '2', '3', '4' int i = 0; i < j; i++) { byte byte0 = md[i]; buf[k++] = hexDigits[byte0 >>> 4
4.5K30发布于 2021-04-27 - 来自专栏云计算D1net
云存储（对象存储）性价比小谈
一般云存储会分几种类型：对象存储（冷、热数据存储）、块存储、表格存储等，今天主要是评测的是对象存储中的热存储，小编带着大家一起通过性价比的对比方式来给各个云厂商排出名次。 性能数据结果 为了模拟真实的用户场景，我们预先在各个云厂商存储中分别压入了接近3000万个对象，涵盖了6个不同尺寸大小的对象，分别是1KB、10KB、100KB、1MB、10MB、1GB，在做下载请求的时候 ，例如华为对象存储是华北区，在华为云上购买的弹性云（测试机）也是华北区，阿里云的云存储是北京区的，测试机（ECS）也选用北京区的，小编在测试AWS的时候，AWS的华北区仅仅是预览版，所以选择了AWS的俄勒冈 （注：按照一个用户购买云存储一个月：存储空间10T，流出流量100GB/天，Get和Put请求次数（均25万次/天）） 计算公式：性价比=性能相对值/价格相对值 性能相对值=（云存储RT性能相对值/4* 60%）/（云存储TPS性能相对值/4*40%） 云存储RT性能相对值=阿里云/AWS（GET1K文件（RT））+阿里云/AWS（PUT1K文件（RT））+阿里云/AWS（GET1M文件（RT）+阿里云
13.9K50发布于 2018-03-23 - 来自专栏yuezhimi
ceph-对象存储
ceph对象存储 作为文件系统的磁盘，操作系统不能直接访问对象存储。相反，它只能通过应用程序级别的API访问。 ceph是一种分布式对象存储系统，通过ceph对象网关提供对象存储接口，也称为RADOS网关（RGW）接口，它构建在ceph RADOS层之上。 RGW使用librgw（RADOS Gateway library）和librados，允许应用程序与ceph对象存储建立连接。 RGW为应用程序提供了一个RESTful S3/swift兼容的接口，用于在ceph集群中以对象的形式存储数据。ceph还支持多租户对象存储，可以通过RESTful API访问。 librados软件库非常灵活，允许用户应用程序通过C、C++、java、python和php绑定直接访问ceph存储集群。ceph对象存储还具有多站点功能，即灾难恢复提供解决方案。
4.6K30发布于 2020-09-30 - 来自专栏全栈开发那些事
腾讯云对象存储
腾讯云对象存储 1、对象存储COS 1.1 开通“对象存储COS”服务 1.2 创建Bucket 1.3 创建API密钥 1.4 快速入门 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 ，这次换成腾讯云试试，大致思路都是一样的 1、对象存储COS 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP 1.1 开通“对象存储COS”服务 （1）申请腾讯云账号：https://cloud.tencent.com/ （2）实名认证 （3）开通“对象存储COS”服务 （4）进入管理控制台 1.2 创建Bucket 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 <dependencies> <! 看看存储桶中是否有对应的文件。 没有问题，到此，腾讯云对象存储就实现了。
64.7K50编辑于 2023-02-25 - 来自专栏随笔乱写
对象存储COSCMD工具
3.卸载pip安装的coscmd，以及yum安装的pip，根据官网提供的方式安装：
3.5K20发布于 2021-09-06 - 来自专栏腾讯云存储
腾讯云对象存储 COS 荣获对象存储领导力奖！！！
近年来，腾讯云深耕对象存储领域，以技术创新屡次将存储领域推上更高台阶，荣膺亚太内容分发大会对象存储领导力奖。 在6月10日下午举办的【对象存储论坛】上，腾讯云存储技术总监王淼发表了题为《对象存储内容分发应用：数据处理实践》的精彩演讲。 从对象存储数据治理生态全景图中可以看到，除了对象存储标准接口之外，还可以通过消息队列、结构化存储系统、视频流等多种数据源，将数据快速方便地入湖，湖上也提供了丰富的数据处理和分析能力，消除数据孤岛，实现计算存储分离 场景化能力 除了提供原子的处理能力、流程化的任务系统，腾讯云对象存储最近还推出了两个面向垂直场景的服务：针对视频监控场景的明瞳智控和针对网盘相册场景的智能媒资托管服务，后续对象存储还会面向数据湖推出更多贴合业务场景的轻应用能力 对象存储上的审核，主要分为存量审核和增量审核，对存量数据审核，COS 提供一键审核服务，只需控制台配置后，后台就会自动进行审核，审核完成后可以通过控制台下载审核结果；增量审核服务，支持对新上传到对象存储的文件进行自动的异步审核服务
7.3K30发布于 2021-06-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号