- 综合排序
- 最热优先
- 最新优先
- 来自专栏WalkingCloud
Ceph分布式存储之对象存储
1、安装Ceph对象网关 从管理节点的工作目录，在ceph_admin节点上安装 Ceph 对象网关软件包 ceph-deploy install --rgw ceph_admin ? 4、为S3访问新建一个RADOSGW用户 为了使用 REST 接口, 首先需要为 S3 接口初始化一个 Ceph 对象网关用户. 然后为 Swift 接口新建一个子用户. import boto.s3.connection access_key = 'FNH3FUBB27GRDID62DJY' secret_key = 'TqdjLKVgjYWiNHUHuiTKCx3huEQg4kDtMVnZg6pe 3）pip install --upgrade setuptools 4）pip install --upgrade python-swiftclient 安装``swift`` 客户端 ?
4.8K30发布于 2020-01-17 - 来自专栏分布式存储
ceph分布式存储-对象存储(RGW)搭建
PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #在管理节点的工作目录下，给 Ceph 对象网关节点安装 Ceph对象所需的软件包 #ceph-deploy install --rgw <node1> [<node2> 管理RGW节点 2.1 添加管理节点权限 #为了让你的 Ceph 对象网关节点成为管理节点，可以在管理节点的工作目录下执行以下命令 #ceph-deploy admin <node-name> $ Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult> 4.
5.9K20发布于 2020-07-20 - 来自专栏JavaEdge
分布式对象存储设计原理
对象存储“全能”，主要因，对象存储是原生分布式存储系统，相对于MySQL、Redis这类单机存储系统来说。虽然这些非原生存储系统，也具备集群能力，但它们构建大规模分布式集群非常不容易。 “互相抄作业”，除了存储的数据结构不一样，提供的查询服务不一样以外，这些分布式存储系统，面临的很多问题都一样，实现方法差不多。 对象存储的查询服务和数据结构都简单，是最简单的原生分布式存储系统。 1 对象存储数据是如何保存大文件的？ 对象存储对外提供的服务，就是个近乎无限容量的大文件KV存储，所以对象存储和分布式文件系统之间，没有那么明确的界限。 这张图虽画的对象存储集群结构，但名词改改，可套用到绝大多数分布式文件系统和数据库上去，如HDFS。 2 对象如何拆分和保存的？ 对象存储如何保存大文件对象。 对象存储虽然简单，但是它具备一个分布式存储系统的全部特征。
2K20编辑于 2023-01-02 - 来自专栏容器云生态
开源分布式对象存储-MinIO 顶
在过去的一段时间，我们将这部分数据存储在公有云的对象存储服务上，但随着业务的快速发展，我们需要存储一些身份信息用于审核和实名相关的数据，这部分数据较为敏感，因此对于敏感数据的存储我们选择了使用兼容S3协议的开源分布式对象存储 但其实，Minio这款开源的分布式对象存储服务在国外已经相当受欢迎，并且国内也有多中小型互联网公司使用它来作为对象存储服务。 前者虽然也提供了块存储和对象存储的接口，但对于企业来说更多用于了分布式文件系统存储，其实就是一种高可用版本的NAS解决方案(通常用于替换NFS)，而后者则针对多种存储场景设计了不同的产品，针对分布式文件系统存储有 CephFS，针对分布式块存储有Ceph RBD，针对分布式对象存储有Ceph Radosgw，基本上可以做到开箱即用。 所以，在后来GlusterFS后来被收购后，据说创始团队又开源了一个分布式存储软件，就是这个用Golang编写的小而美的对象存储Minio.
5K63发布于 2020-02-18 - 来自专栏智能时刻
【存储】2022 年的 4 个开源对象存储平台
如果您不熟悉它，对象存储是一种数据存储架构，允许您将大量非结构化数据存储在可扩展的对象结构中。它将数据存储为具有元数据和唯一标识符的对象，从而更容易访问该数据。现在，有许多平台提供对象存储设施。 MinIO MinIO 是一款开源云存储软件，提供高性能分布式对象存储，专为大规模数据基础设施而设计。 4.OpenIO OpenIO 是一种开源对象存储解决方案，用于管理和保护大量非结构化数据。它允许您构建和操作具有弹性且安全的大规模存储基础架构。 除此之外，它还提供了一个直观的用户界面来简化存储管理员的日常生活。因此，您的数据变得非常易于访问且易于管理。 5.Apache Ozone Ozone是Hadoop的可扩展、冗余和分布式对象存储。 Ozone建立在一个名为Hadoop分布式数据存储（HDD）的高可用复制块存储层上。Ozone现在已经普遍可用（GA），版本为1.2.1。
13.4K10编辑于 2022-03-08 - 来自专栏开源技术小栈
Webman 微服务集成 MinIO 分布式对象存储
www.techempower.com/benchmarks/#hw=ph&test=json§ion=data-r23&l=zik073-cn3 概述 在现代微服务架构中，结合高性能 PHP 框架与分布式对象存储能够显著提升应用的效率和可扩展性 MinIO 作为一款开源、轻量、S3 兼容的分布式对象存储系统，适合各种文件存储场景。 MinIO 独特特性 MinIO 是一款高性能的分布式对象存储服务，具备以下优势： • 高吞吐量：支持大规模文件存储，性能优异。 • S3 兼容性：与 AWS S3 API 完全兼容，便于集成。 • 分布式支持：多节点部署确保高可用性和数据冗余。 • 轻量部署：通过 Docker 快速搭建，适合容器化环境。 • bucket：设置为 MinIO 中创建的存储桶名称。 • endpoint：MinIO 服务的访问地址。 • domain：文件访问的 URL 前缀，指向 MinIO 存储桶。
52410编辑于 2025-09-11 - 来自专栏大数据技术架构
聊一聊分布式对象存储解决方案
目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。 对象存储 同时兼顾着SAN高速直接访问磁盘特点及NAS的分布式共享特点的一类存储，一般是通过RESTful接口访问。 总的来说，企业如果想要建立可扩展的分布式对象存储集群，可以考虑 Swift。 Ceph Ceph是一种高性能、高可用、可扩展的分布式存储系统，统一的对外提供对象存储、块存储以及文件存储功能，底层使用C/C++语言。 Ceph是一个企业级分布式存储系统，功能强大，不仅可以为企业建立对象存储服务，还可以帮助企业建立自己的云平台，具有广泛的应用场景特别是在云环境下使用广泛。
7.7K32发布于 2019-08-16 - 来自专栏木鸟杂记
Amazon 针对小对象的分布式键值存储 ——Dynamo
概览 S3 （Simple Storage Service）是 Amazon 另一款有名的存储服务，虽然也可以理解为 KV 存储，但它和 Dynamo 的目标场景并不一致。 S3 是面向大文件的对象存储服务，主要存储二进制文件，不提供跨对象的事务。 而 Dynamo 是一款面向小文件的文档存储服务，主要存储结构化数据（如 json），并且可以对数据设置索引，且支持跨数据条目的事务。 系统架构 围绕分区算法、备份策略、版本机制、成员组织，错误处理和可扩展性等分布式技术进行展开。 在 Dynamo 中，客户端更新数据对象时，必须指明所要更新的数据对象的版本。具体方式为将之前从 Get 中获得的同一数据对象的版本信息（vector clock）传入更新操作中的 context。
1.7K20发布于 2021-09-26 - 来自专栏速入大数据
分布式存储三国杀：对象存储 vs HDFS vs 列式存储，到底该怎么选？
分布式存储三国杀：对象存储vsHDFSvs列式存储，到底该怎么选？——ByEcho_Wish，一个在大数据江湖摸爬滚打多年的老朋友老铁们，今天我们聊聊一个常被忽视但绝对关键的底层话题：分布式存储。 今天不搞概念灌输，我们用一个聊业务的方式，把对象存储、HDFS、列式存储这三货彻底捋清楚。 一、对象存储：云时代的“基础款大仓库”对象存储（ObjectStorage）你肯定听过：S3、OBS、OSS…核心特点一句话概括：“海量、便宜、持久、简单，用URL存文件。” 你能看出来，它就是文件系统，只不过分布式。 ：HDFS的江湖地位在收缩；对象存储+列式存储正在成为新时代的“双子星”。
44710编辑于 2025-12-02 - 来自专栏开源技术小栈
国产信创分布式对象存储系统 RustFS 开源
介绍 RustFS 是一款简单、高效、分布式的对象存储。 同时，也是一种高效、开源、自由的对象存储解决方案。它 100% 兼容 S3 协议，使用 Apache2 许可证发行的开源软件。 它是由全世界优秀的工程师参与并贡献的一款对于商用友好的分布式对象存储产品，RustFS 可以平替非常多非友好开源协议的对象存储产品。 特征 S3 兼容: 100% 兼容 S3 协议，优秀的兼容性与大数据、数据湖、备份软件、图像处理软件、工业生产软件兼容； 分布式: RustFS 是一个分布式的对象存储，因此，RustFS 可以满足各种需求 通过云存储插件进行测试上传文件到rustfs服务端。 :9000/108b7f4d06ad88f608df22a4888a5ba7.png", "unique_id": "108b7f4d06ad88f608df22a4888a5ba7
2.2K10编辑于 2025-07-10 - 来自专栏全栈程序员必看
块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别
】 典型设备：磁盘阵列，硬盘，虚拟硬盘 【文件存储】 典型设备：FTP、NFS服务器，SamBa 【对象存储】 典型设备：内置大容量硬盘的分布式服务器 分布式存储的应用场景相对于其存储接口，现在流行分为三种 ） 文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把 下面将详细介绍对象存储系统。 3、对象存储 总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。 4、GlusterFS 和对象存储 GlusterFS是目前做得最好的分布式存储系统系统之一，而且已经开始商业化运行。但是，目前GlusterFS3.2.5版本还不支持对象存储。 而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做
22.3K44编辑于 2022-09-01 - 来自专栏玩转VPS
Chevereto V4的进阶使用：挂载外部对象存储拓展存储空间
文章首发于若绾 Chevereto V4的进阶使用：挂载外部对象存储拓展存储空间，转载请注明出处在这篇博客文章中，我们将介绍如何在 Chevereto V4 中挂载外部存储对象存储。 由于我们的图床往往运行在VPS上，在容量不够的时候我们可以通过S3对象存储拓展我们图床的存储空间。前提条件在开始之前，确保您已经完成了以下步骤：已经安装和配置好了 Chevereto V4。 （如何安装和配置可以看我之前的这片文章# 教你如何使用 Docker 安装 Chevereto V4 搭建属于自己的图床）已经有一个外部对象存储服务的账户，例如 Amazon S3、Google Cloud 图片在出现的对话框中需要填写以下信息：存储名称：自定义一个你喜欢的名字。API: 这里我们用的S3对象存储，所以就选择 S3 compatible区域：对象存储的存储区域。 你可以上传一张新的图片，并进入相册，如果图片正常显示，那就说明您已经成功地挂载了外部存储对象存储到 Chevereto V4了！大功告成
2.4K40编辑于 2023-05-12 - 来自专栏大数据和云计算技术
对象存储入门
与SAN存储以逻辑扇区为单位的较细粒度的固定I/O（512B～4KB）不同，对象存储I/O粒度更有弹性，支持几个字节（B）到数万亿字节（TB）范围内的任意对象大小，使得业务可以根据需要灵活地分割数据。 多租户特性可以使用同一种架构、同一套系统为不同用户和应用提供存储服务，并分别为这些用户和应用设置数据保护、数据存储策略，并确保这些数据之间相互隔离。 （4）数据完整性和安全性。 ]；分布式并行读/写带来的巨大吞吐量和在线/近线的存储模式有效降低了RTO[4]和RPO[5]。 4）归档和分级存储 对象存储通过与归档软件、分级存储软件结合，将在线系统中的数据无缝归档/分级存储到对象存储，释放在线系统存储资源。 4．与传统存储的比较 基于块的存储系统，磁盘块通过底层存储协议访问，像SCSI命令，开销很小而且没有其他额外的抽象层。
9.5K40发布于 2018-03-08 - 来自专栏全栈开发那些事
MinIO对象存储
MinIO对象存储 1、MinIO简介 2、MinIO三种部署架构 3、MinIO特点 4、存储机制 5、Docker安装MinIO 6、利用Java客户端调用MinIO 6.1 引入依赖 6.2 添加配置文件 6.3 创建FileUploadController控制器 6.4 测试 1、MinIO简介 MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 4、存储机制 Minio使用纠删码erasure code和校验和checksum。 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 纠删码是一种恢复丢失和损坏数据的数学算法。 其实如果嫌自己搭建对象存储服务太麻烦的话，我以前也写过阿里云OSS和腾讯云OSS相关的文章，这些方式也非常方便。
10.6K30编辑于 2023-03-30 - 来自专栏后端JavaEE
对象存储OSS
endPoint = "oss-cn-beijing.aliyun.com"; //accessKey public static final String AccessKeyId = "LAI4GGrCjDWWxMwNpZWDLfC "; //accessKeySecret public static final String AccessKeySecret = "aRLe31h5H7r30SkcPS8P4mNw1Krlj1
42K20发布于 2021-01-20 - 来自专栏山山仙人的专栏
Minio对象存储
官方文档地址：https://docs.min.io/cn 对于有需求不能或不使用云厂商提供的存储服务，例如阿里云的oss、七牛云的对象存储等，可以通过自建minio对象存储集群的方式 2、功能特性 高度可用 Minio服务器可以容忍分布式设置中高达（N / 2）-1节点故障。而且，您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。 加密的对象使用AEAD服务器端加密进行防篡改。 可对接后端存储 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。 3.3、分布式 分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器，所有节点需要使用相同的Access_key及Secret_key来登录。 4、分布式minio集群搭建 minio存储的部署方案在官网有很多，例如在docker-compose，kubernetes，DC/OS等环境下，本文采用的是较稳定的二进制部署方式。
10.8K41发布于 2020-04-29 - 来自专栏云服务器购买
对象存储COS-腾讯云对象存储服务COS
腾讯云对象存储 COS 安全稳定、海量、便捷、低延迟、低成本的云端存储服务 腾讯云对象存储服务COS详细介绍点击查看 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构 、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。 腾讯云 COS 的特性 稳定持久 腾讯云对象存储提供数据跨多架构、多设备冗余存储，为用户数据提供异地容灾和资源隔离功能，为每一个对象实现高达99.999999999%的数据持久性，保障您数据的耐久性高于其他存储架构 COS 还提供能够将存储桶挂载到本地的工具，让您能像使用本地文件系统一样直接操作腾讯云对象存储。 由于 UGC 通常具有时间维度级的访问特征，对象存储可将数据冷热分层，热数据使用标准存储，冷数据使用低频存储。配合生命周期规则配置，转换存储类别，有效降低存储成本。
22.5K71发布于 2019-08-06 - 来自专栏DevOps
块存储，文件存储及对象存储 比较
，这个约定就叫做文件系统，例如EXT4、FAT32、XFS、NTFS等。 方便文件共享：例如主机A（WIN7，NTFS文件系统），主机B（Linux，EXT4文件系统），想互拷一部电影，本来不行。 对象存储： 总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。 使用角度：平时最常见的一般就是百度网盘，其后端对接的就是对象存储。 对象存储接口的操作对象是对象，存储位置是大型分布式服务器. 3. 和文件和对象存储相比，没有随机读写的接口。和文件存储相比，没有目录树的概念。协议更注重简洁。 典型设备：内置大容量硬盘的分布式服务器 四. 为什么块级的存储性能最好？
7.9K11编辑于 2024-03-29 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（一）
文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。 这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。 其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。 resources: requests: storage: 10Gi storageClassName: nfs-storage在上面的示例中，我们创建了一个名为“example-pod”的Pod对象 ，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。
8.7K20编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（二）
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。 块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。 iscsi-storage volumeMode: Block volumeName: example-block-volume在上面的示例中，我们创建了一个名为“example-pod”的Pod对象 ，它使用了名为“example-volume”的卷，该卷是通过名为“example-pvc”的PVC对象动态请求创建的。 存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。
8.1K10编辑于 2023-05-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号