- 综合排序
- 最热优先
- 最新优先
- 来自专栏罗西的思考
Dynomite 分布式存储引擎 之 DynoJedisClient(2)
[源码分析] Dynomite 分布式存储引擎 之 DynoJedisClient(2) 0x00 摘要 上文我们介绍了 NetFlix Dynomite 客户端 DynoJedisClient 的 4.1.1 策略分类 Java驱动程序提供了几个RetryPolicy实现： RetryNTimes：保证一个操作可以被重试最多 N times，RetryNTimes (2) 意味着在放弃之前，最多 2 + 1 = 3 重试； RunOnce：从不建议重试，始终建议重新抛出异常； 4.1.2 策略使用 具体在执行命令时，我们可以看到，驱动会透明的尝试其他节点并在后台调度重新连接死亡节点： 获取重试策略 : Pool 2]| | | | | +------------ 如何监控底层机架状态； 我们接下来引出 基于 DynoJedisClient 的 分布式延迟队列 Dyno-queues ，看看它是如何实现的。
1.1K10发布于 2021-03-02 - 来自专栏波波烤鸭
2-1 分布式文件存储系统Ceph
分布式文件存储系统Ceph 1 分布式文件存储系统Ceph Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 OSD:RADOS中的存储节点被称为OSD 架构图讲解： 1:文件上传，先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存） 2:切片后的文件object会存入到Ceph中 3: 文件存储前，会经过CRUSH算法，计算当前文件存储归结于哪个PG 4:PG是逻辑概念上对文件存储范围划分的索引 5:根据PG索引将文件存储到指定服务器的OSD中 1.2 Ceph集群搭建 ? python2-pip安装即可。 ， 负责把对象存储到本地文件系统， 必须要有一块独立的磁盘作为存储。
2.9K10发布于 2021-01-14 - 来自专栏明志德到的IT笔记
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。 可扩展性：分布式存储系统可以根据需求动态扩展。当需要增加存储容量或处理能力时，可以简单地添加新的节点到系统中。 除了上述常见的RAID级别外，还有其他一些RAID级别，如RAID 2、RAID 3、RAID 4、RAID 7等。每种级别都有其特定的优点和适用场景。 定期进行数据备份是保护重要数据安全的重要措施 分布式存储的组成元素：数据的使用者、数据的索引者、数据的存储者 分布式存储是一种将数据存储在多个节点上的存储系统，它包含以下三个主要组成元素： 数据的使用者 索引和存储节点之间的协作使得分布式存储系统能够提供高性能、高可用性和可扩展性的数据访问服务。 分布式数据库 分布式数据库是一种将数据存储在多个节点上的数据库系统。
2K10编辑于 2023-12-18 - 来自专栏WalkingCloud
Ceph分布式存储之对象存储
2、 ceph-deploy rgw create ceph_admin ? 3、通过7480端口来访问 http://10.20.10.215:7480/ ? 2)创建用户的密钥： sudo radosgw-admin key create --subuser=yuanfan2020:swift --key-type=swift --gen-secret ? aws_secret_access_key 的值就是前面radosgw_admin 命令的返回值中的 access_key 和 secret_key. 1）yum install python-boto 2） 7、测试SWIFT访问 Swift 访问能够通过 swift 命令行客户端来验证 1）yum install python-setuptools 2）easy_install pip ?
4.5K30发布于 2020-01-17 - 来自专栏智能大数据分析
大数据存储技术（2）—— HDFS分布式文件系统
HDFS就是分布式文件管理系统中的一种。 2、定义 HDFS ( Hadoop Distributed File System )，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能 2、无法高效地存储大量小文件：为了快速响应文件请求，元数据存储在主节点的内存中，文件系统所能存储的文件总数受限于NameNode的内存容量。小文件数量过大，容易造成内存不足，导致系统错误。 （1）存储实际的数据块； （2）执行数据块的读/写操作。 3、Client：就是客户端。 （1）文件切分。 HDFS作为一个分布式文件系统，使用抽象的数据块具有以下优势： （1）通过集群扩展能力可以存储大于网络中任意一个磁盘容量的任意大小文件； （2）使用抽象块而非整个文件作为存储单元，可简化存储子系统，
1.3K10编辑于 2025-01-22 - 来自专栏devops_k8s
longhorn分布式存储
1 简介 Longhorn是用于Kubernetes的开源分布式块存储系统; 如今，基于云和容器的部署规模日益扩大，分布式块存储系统也正变得越来越复杂，单个存储控制器上的volume 2000年代初，存储控制器上的volume数量只有几十个，但现代云环境却需要数万到数百万的分布式块存储卷。存储控制器变成了高度复杂的分布式系统。 分布式块存储本身比其他形式的分布式存储（如文件系统）更简单。无论系统中有多少volume，每个volume只能由单个主机进行装载。 2 Longhorn功能概述 共享资源池：将本地磁盘或安装在计算或专用存储主机中的网络存储形成共享资源池。 大多数现有的分布式存储系统通常采用复杂的控制器软件来服务于从数百到数百万不等的volume。
3.1K20发布于 2021-11-13 - 来自专栏Web前后端、全栈出发
分布式数据存储
分布式数据存储 海量数据的存储问题 如今随着互联网的发展，数据的量级也是成指数的增长 从GB到TB到PB 对数据的各种操作也是愈加的困难，传统的关系型数据库 已经无法满足快速查询与插入数据的需求 在有些场合NoSQL一些折衷是无法满足使用场景的，就比如 有些使用场景是绝对要有事务与安全指标的 这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库 如果使用关系型数据库解决海量存储的问题呢 此时就需要做数据库集群 为了提高查询性能将一个数据库的数据，分散到不同的数据库中存储。 -- 本人采用的取模,轮询算法; 根据id 值取模 3; id 取模值 结果 1 % 3 1 第二个库 2 % 3 2 第三各库 3 % 3 0 第一个库 .. balance=“2” 所有读操作都随机的在writeHost、readhost上分发。
1.2K10编辑于 2024-08-06 - 来自专栏开源部署
分布式存储-GlusterFS
一、分布式存储介绍 我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。 常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。 介绍 glusterfs是一个免费,开源的分布式文件系统（它属于文件存储类型）。 四、GlusterFS卷类型 基本卷 distribute volume分布式卷 默认： 说明：根据hash算法，将文件随机存储在一个的brick上，文件不能拆分。 ；如果两台存储服务器不同，就会出现木桶效应 复合卷 distribute replica volume 分布式复制卷： 图片 说明：是分布式卷与复制卷的组合，兼具两者的功能，若干brick组成1个复制卷
7.4K20编辑于 2022-09-15 - 来自专栏大话IT架构
存储05-传统存储和分布式存储对比
传统存储经过这些年的发展，目前已经进入逐步沦落为烂大街的现象；而这几年分布式存储在如火如荼的发展中，尤其是在X86服务器作为存储硬件的事实标准下大大降低了存储的准入门槛，引发了无数的新兴创业公司涌入存储领域 1.传统存储的弊端 1）硬件非标(每种类型的存储需要单独研发、涉及、开模块、生产)，导致硬件价格居高不下 2））一个存储产品的生命周期一般7-8年左右(刚推出市场1-2年，2-3年的时候大部分客户跟进， 客户使用4-5年的时候厂家停止维保，生命周期周期结束） 3）存储生命周期结束之前1年，客户要进行新存储采购和数据迁移 4）容量和性能水平扩展性有限 5）数据迁移期间业务有感知，各种协调业务 2.分布式存储的优点 ，和传统存储一样价格高昂；反正都是价格高昂，但是分布式存储可以避免后面一系列的因为产品寿命到期替换折腾。 2）分布式存储贵是贵在软件上；传统存储不仅软件贵，硬件也同样贵 3）分布式特指存储产品的架构，可以scale-out 4）分布式存储完全可以满足各种业务场景(如数据库、海量文件存储等) ?
3.8K21发布于 2020-03-31 - 来自专栏分布式存储
ceph 分布式存储-块存储(RBD)搭建
管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池 ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池 $ ceph osd pool rename test_pool test_new_pool pool 'test_pool' renamed to 'test_new_pool' 1.4 查看存储池列表 ,9 default.rgw.meta,10 default.rgw.log,11 default.rgw.buckets.index,12 web-services,13 test_pool, 2.
4.6K20发布于 2020-07-20 - 来自专栏分布式存储
ceph分布式存储-对象存储(RGW)搭建
相关软件包 1.1 安装软件包 PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #在管理节点的工作目录下 ，给 Ceph 对象网关节点安装Ceph对象所需的软件包 #ceph-deploy install --rgw <node1> [<node2> listed more than once in the configuration [ceph-xxx-osd03.gz01][DEBUG ] Examining /var/tmp/yum-root-Y2Avp6 el7.noarch.rpm: ceph-release-1-1.el7.noarch [ceph-xxx-osd03.gz01][DEBUG ] Marking /var/tmp/yum-root-Y2Avp6 ) luminous (rc) 2.
5.6K20发布于 2020-07-20 - 来自专栏分布式存储
ceph 分布式存储-文件存储(CephFS)搭建
创建元数据服务器 1.1 安装mds PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph-deploy 存储池 2.1 创建存储池数据 #ceph osd pool create cephfs_data <pg_num> $ ceph osd pool create cephfs_data 128 pool 'cephfs_data' created 2.2 创建存储池元数据 #ceph osd pool create cephfs_metadata <pg_num> $ ceph osd pool create cephfs_data 128 pool 'cephfs_metadata' created 2.3 查看存储池 $ ceph osd lspools 1 rbd,2 test_data, #Ceph 存储集群默认要求认证，需指定相应的密钥环文件 #sudo ceph-fuse -n client.
6.2K30发布于 2020-07-20 - 来自专栏码上遇见你
分布式基础概念-分布式存储
如何实现分库分表 将原本存储于单个数据库上的数据拆分到多个数据库，把原来存储在单张数据表的数据拆分到多张数据表中，实现数据切分，从而提升数据库操作性能。 使用覆盖索引)或者在缓存中维护 基因法：分区键的后x个bit位由查询字段进行hash后占用，分区键直接取x个bit位获取分区，查询字段进行hash获取分区，适合非分区键查询字段只有一个的情况 冗余：查询字段冗余存储 Session的分布式方案 采用无状态服务，抛弃session 存入cookie（有安全风险） 服务器之间进行Session同步，这样可以保证每个服务器上都有全部的Session信息，不过当服务器数量比较多的时候 使用Nginx（或其他复杂均衡软硬件）中的IP绑定策略，同一个IP只能在指定的同一个机器访问，但是这样做失去了负载均衡的意义，当挂掉一台服务器的时候，会影响一批用户的使用，风险很大； 使用Redis存储 把Session放到Redis中存储，虽然架构上变得复杂，并且需要多访问一次Redis，但是这种方案带来的好处也是很大的： 实现了Session共享； 可以水平扩展（增加Redis服务器）； 服务器重启
71220编辑于 2023-11-13 - 来自专栏星汉技术
Redis入门：分布式存储
Redis入门：分布式存储 要完成数据的分片存储，需要多个redis实例。 1 多个REDIS实例 前面的单个redis节点实例的启动时默认配置端口号6379。 以下为本段配置内容详情： 1 # Redis configuration file example. 2 # 3 # Note that in order to read the configuration following lines. 380 # 381 # save 3600 1 382 # save 300 100 383 save 60 10000 1.2 其他实例 将刚配置好的配置文件复制2份 2 启动REDIS多实例 启动多实例的命令如下： redis-server redis.conf(指定启动文件) 启动另外两个节点： #redis-server redis6380.conf #redis-server
1.7K30编辑于 2022-03-24 - 来自专栏全栈程序员必看
分布式文件存储——简介
1、分布式文件系统种类简介： 常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务 FastDFS：一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 TFS：TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问 2、fastDFS简介： FastDFS是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。 ，处理效率更高； 支持在线扩容机制，增强系统的可扩展性； 实现了软RAID，增强系统的并发处理能力及数据容错恢复能力； 支持主从文件，支持自定义扩展名； 主备Tracker服务，增强系统的可用性； （2）
4.6K30编辑于 2022-08-14 - 来自专栏DevOps
分布式存储：alluxio简介
Alluxio 的优势包括： 内存速度 I/O ：Alluxio 能够用作分布式共享缓存服务，这样与 Alluxio 通信的计算应用程序可以透明地缓存频繁访问的数据（尤其是从远程位置），以提供内存级 I 简化云存储和对象存储接入 ：与传统文件系统相比，云存储系统和对象存储系统使用不同的语义，这些语义对性能的影响也不同于传统文件系统。 2. 应用场景2：加速本地对象存储的分析和AI作业 在本地部署的对象存储上运行数据驱动型应用会带来以下挑战： 分析和AI负载性能差 缺乏对主流框架的原生支持 元数据操作成本高昂且性能低下 Alluxio 通过提供缓存和 当Alluxio与本地计算一同部署时，Alluxio可管理计算集群的存储并将应用所需数据本地化，从而实现： 通过智能分布式缓存提高读写性能 减少数据复制，从而节约网络成本 提供灵活API接口和云存储安全模式
1.4K10编辑于 2024-03-29 - 来自专栏分布式存储
ceph分布式存储-块存储BlueStore性能测试
size: 4194304 Bandwidth (MB/sec): 1121.07 Average IOPS: 280 Stddev IOPS: 2 stdev=12150.39 clat (usec): min=806, max=99391, avg=11156.56, stdev=8561.94 lat (msec): min=2, ,_(1),r(1),_(1),r(1),_(1),r(1),_(2),r(5),_(1),r(3),_(2)] [96.4% done] [1312MB/0KB/0KB /s] [328/0/0 iops ,m(1),_(2),m(1),_(2),m(4),_(4),m(2),_(1),m(1),_(1),m(5)] [94.6% done] [651.4MB/423.6MB/0KB /s] [162/105 Linux 平台上做 IO 性能测试的瑞士军刀2. 可以对使用内核内 rbd 和用户空间 librados 进行比较3. 标准规则 - 顺序和随机 IO4.
10.7K20发布于 2020-07-20 - 来自专栏CSDN技术博客
Glusterfs分布式存储部署
Glusterfs是一个开源的分布式文件系统，容量可以按比例的扩展，且性能却不会因此而降低。 廉价且使用简单，完全抽象在已有的文件系统之上。 (1) 分布式卷（distribute voulme） 分布式模式，既DHT，是GlusterFS的默认模式，在创建卷时，默认选项是创建分布式卷。 (2) 条带卷（stripe volume） 条带模式，既Striped，类似RADI 0，在该模式下，根据偏移量将文件分成N块（N个条带节点），轮询地存储在每个Brick Server节点。 在配置时指定条带数必须等于卷中Brick 所包含的存储服务器数，在存储大文件时，性能尤为突出，但是不具备冗余性。 具备冗余性 gluster volume create ocp replica 2 192.168.1.10:/data3/ocp 192.168.1.11:/data3/ocp (4) 分布式条带卷（
4.8K50发布于 2021-08-10 - 来自专栏全栈程序员必看
分布式文件存储—fastDFS
简单了解： • FastDFS 是一个轻量级的开源分布式文件系统 • 解决了大容量文件存储和高并发访问的问题，文件存取时实现了负载均衡 • FastDFS 实现了软件方式的 RAID ，可以使用廉价的 IDE 硬盘进行存储 • 支持存储服务器在线扩容 • 支持相同内容的文件只保存一份，节约磁盘空间， 配合 FastDHT 进行文件上传去重 • 特别适合大中型网站使用，用来存储资源文件 （图片，文档，音频，视频等等） 架构设计： 各个tracker server之间相互独立；同组的storageserver上的文件一致；不同组的 Storage Server：存储服务器，文件和meta data都保存到存储服务器上。
90530编辑于 2022-09-05 - 来自专栏方才编程
图解分布式存储技术
一般大型的分布式微服务项目，都会涉及海量数据、高并发读写等场景，就需要用到分布式数据存储。 常见的包括MySQL集群、分布式数据库、搜索引擎、分布式对象存储、分布式缓存系统等。 分布式缓存系统后续方才会单独讲解，今天我们先了解其他几个分布式数据存储架构。 TiDB（分布式数据库） 通过上面的内容，我相信大家能感受到使用MySQL集群去应对分布式存储的场景，技术复杂度和实施成本是极高的。 所以分布式数据库应运而生，这里方才介绍下我自己用过的-TiDB。 架构： TiKV：分布式键值存储引擎，基于Raft协议保证强一致性。 MinIO 是一个高性能、分布式、云原生的对象存储系统，专为存储和管理海量非结构化数据（如图片、视频、日志、备份文件等）设计。
71110编辑于 2025-04-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号