- 综合排序
- 最热优先
- 最新优先
🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
引言文件存储已成为一个做任何应用都不可回避的需求。传统的单机文件存储方案在面对大规模数据和高并发访问时往往力不从心，而分布式文件存储系统则提供了更好的解决方案。 本篇文章我将基于Spring Boot 3 为大家讲解如何基于MinIO来实现分布式文件存储。分布式存储的出现在探讨核心内容之前，我们不妨先回顾分布式存储技术是如何伴随系统架构演变发展的。 面对这个挑战，我们可以借鉴"分层解决"的架构思想：将文件存储从应用服务中剥离，集中在独立的存储服务中统一管理。这便是分布式文件存储系统的雏形。 技术选型在了解了分布式存储的演进背景后，让我们来梳理当前主流的分布式存储解决方案。 ，完全兼容 Amazon S3 云存储服务接口。
1.3K20编辑于 2025-03-05- 来自专栏明志德到的IT笔记
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。 除了上述常见的RAID级别外，还有其他一些RAID级别，如RAID 2、RAID 3、RAID 4、RAID 7等。每种级别都有其特定的优点和适用场景。 定期进行数据备份是保护重要数据安全的重要措施 分布式存储的组成元素：数据的使用者、数据的索引者、数据的存储者 分布式存储是一种将数据存储在多个节点上的存储系统，它包含以下三个主要组成元素： 数据的使用者 索引和存储节点之间的协作使得分布式存储系统能够提供高性能、高可用性和可扩展性的数据访问服务。 分布式数据库 分布式数据库是一种将数据存储在多个节点上的数据库系统。 每个槽可以存储一个键值对。集群中的每个节点负责处理一部分槽，并保存相应的数据。 节点间数据复制：为了提高可用性和容错性，每个槽都会有多个副本，通常是3个副本。
2K10编辑于 2023-12-18 - 来自专栏WalkingCloud
Ceph分布式存储之对象存储
3、通过7480端口来访问 http://10.20.10.215:7480/ ? 4、为S3访问新建一个RADOSGW用户 为了使用 REST 接口, 首先需要为 S3 接口初始化一个 Ceph 对象网关用户. 然后为 Swift 接口新建一个子用户. 6、测试S3访问 你需要写一个 Python 测试脚本,并运行它以验证 S3 访问. import boto.s3.connection access_key = 'FNH3FUBB27GRDID62DJY' secret_key = 'TqdjLKVgjYWiNHUHuiTKCx3huEQg4kDtMVnZg6pe python s3test.py ?
4.5K30发布于 2020-01-17 - 来自专栏执笔绘倾城
3、块存储、网络文件系统、分布式存储、的原理分别是什么
简单地说，iSCSI就是在IP网络上运行SCSI协议的一种网络存储技术。为了克服上述文件无法共享的问题，所以有了网络文件系统。 分布式存储、MFS原理： MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一整合的资源。 分布式存储系统，是将数据分散存储在多台独立的设备上。 传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。 分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。[1]
1.6K40编辑于 2022-10-06 - 来自专栏devops_k8s
longhorn分布式存储
1 简介 Longhorn是用于Kubernetes的开源分布式块存储系统; 如今，基于云和容器的部署规模日益扩大，分布式块存储系统也正变得越来越复杂，单个存储控制器上的volume 2000年代初，存储控制器上的volume数量只有几十个，但现代云环境却需要数万到数百万的分布式块存储卷。存储控制器变成了高度复杂的分布式系统。 分布式块存储本身比其他形式的分布式存储（如文件系统）更简单。无论系统中有多少volume，每个volume只能由单个主机进行装载。 大多数现有的分布式存储系统通常采用复杂的控制器软件来服务于从数百到数百万不等的volume。 创建volume快照和AWS EBS风格的备份：您可以为每个volume创建多达254个快照，这些快照可以逐个备份到NFS或S3兼容的辅助存储中。只有更改的字节会在备份操作期间被复制和存储。
3.1K20发布于 2021-11-13 - 来自专栏Web前后端、全栈出发
分布式数据存储
分布式数据存储 海量数据的存储问题 如今随着互联网的发展，数据的量级也是成指数的增长 从GB到TB到PB 对数据的各种操作也是愈加的困难，传统的关系型数据库 已经无法满足快速查询与插入数据的需求 在有些场合NoSQL一些折衷是无法满足使用场景的，就比如 有些使用场景是绝对要有事务与安全指标的 这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库 如果使用关系型数据库解决海量存储的问题呢 此时就需要做数据库集群 为了提高查询性能将一个数据库的数据，分散到不同的数据库中存储。 -- 本人采用的取模,轮询算法; 根据id 值取模 3; id 取模值 结果 1 % 3 1 第二个库 2 % 3 2 第三各库 3 % 3 0 第一个库 .. balance=“3” 所有读请求随机的分发到wiriterHost对应的readhost执行，writerHost不负担读压力 switchType 指的是切换的模式，目前的取值也有3种
1.2K10编辑于 2024-08-06 - 来自专栏开源部署
分布式存储-GlusterFS
一、分布式存储介绍 我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。 常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。 介绍 glusterfs是一个免费,开源的分布式文件系统（它属于文件存储类型）。 四、GlusterFS卷类型 基本卷 distribute volume分布式卷 默认： 说明：根据hash算法，将文件随机存储在一个的brick上，文件不能拆分。 ；如果两台存储服务器不同，就会出现木桶效应 复合卷 distribute replica volume 分布式复制卷： 图片 说明：是分布式卷与复制卷的组合，兼具两者的功能，若干brick组成1个复制卷
7.4K20编辑于 2022-09-15 - 来自专栏大话IT架构
存储05-传统存储和分布式存储对比
1.传统存储的弊端 1）硬件非标(每种类型的存储需要单独研发、涉及、开模块、生产)，导致硬件价格居高不下 2））一个存储产品的生命周期一般7-8年左右(刚推出市场1-2年，2-3年的时候大部分客户跟进， 客户使用4-5年的时候厂家停止维保，生命周期周期结束） 3）存储生命周期结束之前1年，客户要进行新存储采购和数据迁移 4）容量和性能水平扩展性有限 5）数据迁移期间业务有感知，各种协调业务 2.分布式存储的优点 3）容量和性能可以水平扩展，能满足绝大部分的场景数据量需求。 ，和传统存储一样价格高昂；反正都是价格高昂，但是分布式存储可以避免后面一系列的因为产品寿命到期替换折腾。 2）分布式存储贵是贵在软件上；传统存储不仅软件贵，硬件也同样贵 3）分布式特指存储产品的架构，可以scale-out 4）分布式存储完全可以满足各种业务场景(如数据库、海量文件存储等) ?
3.8K21发布于 2020-03-31 - 来自专栏分布式存储
ceph 分布式存储-块存储(RBD)搭建
管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池 ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池 $ ceph osd lspools 1 rbd,2 test_data,3 test_metadata,5 test,6 benmark_test,7 .rgw.root,8 default.rgw.control unmap test_pool/test_image 2.6 格式化块设备镜像 $ sudo mkfs.ext4 /dev/rbd1 # sudo mkfs.xfs -f /dev/nbd0 3.
4.6K20发布于 2020-07-20 - 来自专栏DevOps持续集成
GitLabCI-Runner使用S3存储配置分布式缓存
今天我们主要讲解，minio存储服务的部署、GitLabCI Runner配置分部署缓存。MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 官方文档：https://docs.min.io/cn/deploy-minio-on-kubernetes.html 基于Kubernetes部署 准备一个pv用于存储bucket数据，这里我使用的是本地的目录 - https://docs.minio.io/categories/17 ---- 访问验证 添加hosts解析测试 创建bucket 配置Runner使用S3存储 官方的runner 配置 examples 是这样配置的，指定S3存储相关信息。
2.6K30发布于 2020-05-22 - 来自专栏智能大数据分析
大数据存储技术（3）—— HBase分布式数据库
一、HBase简介 （一）概念 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统 就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。 3、极易扩展 HBase 的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS) 。 （3）通过 Zoopkeeper 存储元数据的统一入口地址。 的合并工作 5、HDFS HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用（Hlog 存储在HDFS）的支持，具体功能概括如下： 提供元数据和表数据的底层分布式存储服务
1.3K10编辑于 2025-01-22 - 来自专栏分布式存储
ceph分布式存储-对象存储(RGW)搭建
machine type [ceph-xxx-osd03.gz01][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf 3. S3用户 4.1 创建S3用户 #想正常的访问RGW，需要创建相应的RGW用户，并赋予相应的权限，radosgw-admin命令实现了这些功能。 4.2 测试S3接口 4.2.1 安装依赖库 #说明：需要创建一个Python测试脚本来测试S3访问。 执行以下步骤，首先安装python-boto库，该库用于连接S3： $ yum install python-boto 4.2.2 创建测试DEMO $ cat s3_test.py import boto.s3.connection access_key = 'GI1GHD6ZOTIVF2R24GQ6' secret_key = 'UeEubdXgOegAqgzYRsDNPycFLE98ninUN3fFgbia
5.6K20发布于 2020-07-20 - 来自专栏分布式存储
ceph 分布式存储-文件存储(CephFS)搭建
存储池 2.1 创建存储池数据 #ceph osd pool create cephfs_data <pg_num> $ ceph osd pool create cephfs_data 128 pool 'cephfs_data' created 2.2 创建存储池元数据 #ceph osd pool create cephfs_metadata <pg_num> $ ceph osd pool 3 test_metadata,5 test,6 benmark_test,7 .rgw.root,8 default.rgw.control,9 default.rgw.meta,10 default.rgw.log ,11 default.rgw.buckets.index,12 web-services,13 test_pool,15 cephfs_data,16 cephfs_metadata 3. #Ceph 存储集群默认要求认证，需指定相应的密钥环文件 #sudo ceph-fuse -n client.
6.2K30发布于 2020-07-20 SpringBoot+Vue3+Element Plus 打造分布式存储系统
从教育重塑、科技演进、人文价值与经济变革四个维度审视，掌握分布式存储已成为通往未来技术高地的必经之路。 分布式存储技术通过“数据热分层”，让热数据留在边缘即时处理，冷数据归档云端长期存储，实现了科技架构的最优解。不懂分布式存储，就无法构建真正高可用的云原生应用。 然而，边缘端的分布式存储也带来了新的伦理挑战：数据该在何处驻留？谁拥有其控制权？掌握分布式存储技术，赋予了技术人员守护数据尊严的能力。 云原生架构下的分布式存储，极大地降低了硬件锁定的风险，实现了存储资源的软件定义与标准化。这使得企业能够以更低的成本构建高可用的基础设施。 而在边缘计算场景下，本地化的分布式存储减少了昂贵的带宽传输费用，将数据处理转化为即时的商业价值。对于企业而言，掌握分布式存储技术的团队，意味着拥有了驾驭数据洪流的能力。
9110编辑于 2026-03-12- 来自专栏yl 成长笔记
Amazon S3 分布式存储的 python 接口实现
Amazon s3 是一种分布式的对象存储。用键值对的方式，来存储数据。其中，存入的所有数据都是一个对象（object），每一个对象都有一个键（key）存在。 paras['secret_key'] write_host = paras['file_write_host'] conn = boto.connect_s3( =secret_key, host=write_host, is_secure=False, calling_format=boto.s3. authenticated-read: Owner gets FULL_CONTROL and any principal authenticated as a registered Amazon S3 = k.set_contents_from_string(imageFeaturestring) k.set_acl('authenticated-read') return res 3.
2.3K10发布于 2018-09-12 - 来自专栏码上遇见你
分布式基础概念-分布式存储
如何实现分库分表 将原本存储于单个数据库上的数据拆分到多个数据库，把原来存储在单张数据表的数据拆分到多张数据表中，实现数据切分，从而提升数据库操作性能。 使用覆盖索引)或者在缓存中维护 基因法：分区键的后x个bit位由查询字段进行hash后占用，分区键直接取x个bit位获取分区，查询字段进行hash获取分区，适合非分区键查询字段只有一个的情况 冗余：查询字段冗余存储 Session的分布式方案 采用无状态服务，抛弃session 存入cookie（有安全风险） 服务器之间进行Session同步，这样可以保证每个服务器上都有全部的Session信息，不过当服务器数量比较多的时候 使用Nginx（或其他复杂均衡软硬件）中的IP绑定策略，同一个IP只能在指定的同一个机器访问，但是这样做失去了负载均衡的意义，当挂掉一台服务器的时候，会影响一批用户的使用，风险很大； 使用Redis存储 把Session放到Redis中存储，虽然架构上变得复杂，并且需要多访问一次Redis，但是这种方案带来的好处也是很大的： 实现了Session共享； 可以水平扩展（增加Redis服务器）； 服务器重启
71220编辑于 2023-11-13 - 来自专栏星汉技术
Redis入门：分布式存储
Redis入门：分布式存储 要完成数据的分片存储，需要多个redis实例。 1 多个REDIS实例 前面的单个redis节点实例的启动时默认配置端口号6379。 以下为本段配置内容详情： 1 # Redis configuration file example. 2 # 3 # Note that in order to read the configuration redis-server 127.0.0.1:6381 root 2868 1697 0 15:53 pts/1 00:00:00 grep --color=auto redis 3
1.7K30编辑于 2022-03-24 - 来自专栏全栈程序员必看
分布式文件存储——简介
1、分布式文件系统种类简介： 常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务 FastDFS：一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 TFS：TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问 2、fastDFS简介： FastDFS是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。 3、fastDFS存储简介： 为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。
4.6K30编辑于 2022-08-14 - 来自专栏DevOps
分布式存储：alluxio简介
Alluxio 的优势包括： 内存速度 I/O ：Alluxio 能够用作分布式共享缓存服务，这样与 Alluxio 通信的计算应用程序可以透明地缓存频繁访问的数据（尤其是从远程位置），以提供内存级 I 服务器端 API 翻译转换 ：Alluxio支持工业界场景的API接口，例如HDFS API, S3 API, FUSE API, REST API。它能够透明地从标准客户端接口转换到任何存储接口。 应用场景1：加速云上分析和AI 作业 许多企业都在公有云（AWS S3、Google Cloud 或 Microsoft Azure）对象存储上运行分析和机器学习负载（Spark、Presto、Hive 在应用端部署 Alluxio 带来以下益处： 分析和AI负载性能提升 可灵活实现存储隔离 支持多个API,不影响终端用户体验 降低总存储成本 本应用场景案例参见DBS（新加坡星展银行）。 3. 当Alluxio与本地计算一同部署时，Alluxio可管理计算集群的存储并将应用所需数据本地化，从而实现： 通过智能分布式缓存提高读写性能 减少数据复制，从而节约网络成本 提供灵活API接口和云存储安全模式
1.4K10编辑于 2024-03-29 - 来自专栏分布式存储
ceph分布式存储-块存储BlueStore性能测试
bandwidth (MB/sec): 1148 Min bandwidth (MB/sec): 1048 Average IOPS: 279 Stddev IOPS: 3 size: 4194304 Bandwidth (MB/sec): 1119.64 Average IOPS: 279 Stddev IOPS: 3 ,_(1),r(3),_(1),r(2),_(1),r(1),_(1),r(1),_(1),r(1),_(2),r(5),_(1),r(3),_(2)] [96.4% done] [1312MB/0KB (f=3): [_(14),W(1),_(3),W(2),_(10)] [88.7% done] [0KB/595.5MB/0KB /s] [0/148/0 iops] [eta 00m:07s] 可以对使用内核内 rbd 和用户空间 librados 进行比较3. 标准规则 - 顺序和随机 IO4. 块大小 - 4k，16k，64k，256k5. 模式 - 读和写6.
10.7K20发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号