- 综合排序
- 最热优先
- 最新优先
- 来自专栏明志德到的IT笔记
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。 RAID 5：采用分布式奇偶校验（Distributed Parity）方式，在多个硬盘上分布数据和奇偶校验位。 RAID 5提供了较好的读写性能和容错能力，当其中一个硬盘故障时，可以通过计算奇偶校验位来恢复丢失的数据。 RAID 6：类似于RAID 5，但使用两个奇偶校验位来提供更高的容错能力。 这些技术可以结合使用，形成不同级别的RAID配置，如RAID 0、RAID 1、RAID 5、RAID 6等。每个级别都有不同的性能、容错性和存储效率特点，适用于不同的应用场景和需求。 索引和存储节点之间的协作使得分布式存储系统能够提供高性能、高可用性和可扩展性的数据访问服务。 分布式数据库 分布式数据库是一种将数据存储在多个节点上的数据库系统。
2.4K10编辑于 2023-12-18 - 来自专栏WalkingCloud
Ceph分布式存储之对象存储
5、创建一个SWIFT用户 如果要通过 Swift 访问，必须创建一个 Swift 子用户。需要分两步完成，第一步是创建用户，第二步创建密钥。 5）验证 swift -A http://10.20.10.215:7480/auth/1.0 -U yuanfan2020:swift -K 'wKxrZUHksKPYtO1qNCrRWwLGsX05bxKyJrDOnmoM
4.6K30发布于 2020-01-17 - 来自专栏devops_k8s
longhorn分布式存储
1 简介 Longhorn是用于Kubernetes的开源分布式块存储系统; 如今，基于云和容器的部署规模日益扩大，分布式块存储系统也正变得越来越复杂，单个存储控制器上的volume 2000年代初，存储控制器上的volume数量只有几十个，但现代云环境却需要数万到数百万的分布式块存储卷。存储控制器变成了高度复杂的分布式系统。 分布式块存储本身比其他形式的分布式存储（如文件系统）更简单。无论系统中有多少volume，每个volume只能由单个主机进行装载。 replica是在底层磁盘或网络存储上精简配置的。 为每个volume创建一个专用的存储控制器：这可能是与大多数现有的分布式存储系统相比，Longhorn最具特色的功能。 大多数现有的分布式存储系统通常采用复杂的控制器软件来服务于从数百到数百万不等的volume。
3.2K20发布于 2021-11-13 - 来自专栏开源部署
分布式存储-GlusterFS
一、分布式存储介绍 我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。 常见的分布式存储开源软件有:GlusterFS,Ceph,HDFS,MooseFS,FastDFS等。 介绍 glusterfs是一个免费,开源的分布式文件系统（它属于文件存储类型）。 6,分布式分散卷 disperse必须大于2,大于4才可以有一块redundancy盘 大于5块可有redundancy盘两块 文件分片存储在各个硬盘上，但有部分硬盘用于冗余用途，数量可以指定。 5个存储怎么做?
7.5K20编辑于 2022-09-15 - 来自专栏Web前后端、全栈出发
分布式数据存储
分布式数据存储 海量数据的存储问题 如今随着互联网的发展，数据的量级也是成指数的增长 从GB到TB到PB 对数据的各种操作也是愈加的困难，传统的关系型数据库 已经无法满足快速查询与插入数据的需求 在有些场合NoSQL一些折衷是无法满足使用场景的，就比如 有些使用场景是绝对要有事务与安全指标的 这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库 如果使用关系型数据库解决海量存储的问题呢 此时就需要做数据库集群 为了提高查询性能将一个数据库的数据，分散到不同的数据库中存储。 (0x5)解决 这是因为当前用户权限不够，运行cmd时以管理员身份运行即可 搭建java环境 conf 目录下，wrapper.conf文件修改对应的java jdk对应的目录 例如：wrapper.java.command
1.5K10编辑于 2024-08-06 - 来自专栏大话IT架构
存储05-传统存储和分布式存储对比
传统存储经过这些年的发展，目前已经进入逐步沦落为烂大街的现象；而这几年分布式存储在如火如荼的发展中，尤其是在X86服务器作为存储硬件的事实标准下大大降低了存储的准入门槛，引发了无数的新兴创业公司涌入存储领域 客户使用4-5年的时候厂家停止维保，生命周期周期结束） 3）存储生命周期结束之前1年，客户要进行新存储采购和数据迁移 4）容量和性能水平扩展性有限 5）数据迁移期间业务有感知，各种协调业务 2.分布式存储的优点 4）可以避免每隔几年就进行一次数据迁移(重复劳动且没有任何意义，纯粹为了换硬件而迁移) 5）对业务友好，对存储管理部门友好(底层操作对业务来说无感知，业务不需要陪着存储部门一起折腾) 特别说明 1）分布式存储也不便宜 ，和传统存储一样价格高昂；反正都是价格高昂，但是分布式存储可以避免后面一系列的因为产品寿命到期替换折腾。 2）分布式存储贵是贵在软件上；传统存储不仅软件贵，硬件也同样贵 3）分布式特指存储产品的架构，可以scale-out 4）分布式存储完全可以满足各种业务场景(如数据库、海量文件存储等) ?
3.9K21发布于 2020-03-31 - 来自专栏分布式存储
ceph 分布式存储-块存储(RBD)搭建
管理存储池 1.1 创建存储池 PG数量的预估 集群中单个池的PG数计算公式如下：PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 (结果必须舍入到最接近2的N次幂的值) #ceph crush-ruleset-name] $ ceph osd pool create test_pool 512 512 replicated pool 'test_pool' created 1.2 删除存储池 ceph osd pool delete test_pool test_pool --yes-i-really-really-mean-it pool 'test_pool' removed 1.3 重命名存储池 $ ceph osd pool rename test_pool test_new_pool pool 'test_pool' renamed to 'test_new_pool' 1.4 查看存储池列表 $ ceph osd lspools 1 rbd,2 test_data,3 test_metadata,5 test,6 benmark_test,7 .rgw.root,8 default.rgw.control
4.8K20发布于 2020-07-20 - 来自专栏码上遇见你
分布式基础概念-分布式存储
如何实现分库分表 将原本存储于单个数据库上的数据拆分到多个数据库，把原来存储在单张数据表的数据拆分到多张数据表中，实现数据切分，从而提升数据库操作性能。 使用覆盖索引)或者在缓存中维护 基因法：分区键的后x个bit位由查询字段进行hash后占用，分区键直接取x个bit位获取分区，查询字段进行hash获取分区，适合非分区键查询字段只有一个的情况 冗余：查询字段冗余存储 Session的分布式方案 采用无状态服务，抛弃session 存入cookie（有安全风险） 服务器之间进行Session同步，这样可以保证每个服务器上都有全部的Session信息，不过当服务器数量比较多的时候 使用Nginx（或其他复杂均衡软硬件）中的IP绑定策略，同一个IP只能在指定的同一个机器访问，但是这样做失去了负载均衡的意义，当挂掉一台服务器的时候，会影响一批用户的使用，风险很大； 使用Redis存储 把Session放到Redis中存储，虽然架构上变得复杂，并且需要多访问一次Redis，但是这种方案带来的好处也是很大的： 实现了Session共享； 可以水平扩展（增加Redis服务器）； 服务器重启
76220编辑于 2023-11-13 - 来自专栏分布式存储
ceph分布式存储-对象存储(RGW)搭建
created=bucket.creation_date, ) 4.2.3 执行测试 $ python s3_test.py my-new-bucket 2017-10-12T08:48:36.201Z 5.
5.7K20发布于 2020-07-20 - 来自专栏分布式存储
ceph 分布式存储-文件存储(CephFS)搭建
存储池 2.1 创建存储池数据 #ceph osd pool create cephfs_data <pg_num> $ ceph osd pool create cephfs_data 128 pool 'cephfs_data' created 2.2 创建存储池元数据 #ceph osd pool create cephfs_metadata <pg_num> $ ceph osd pool 3 test_metadata,5 test,6 benmark_test,7 .rgw.root,8 default.rgw.control,9 default.rgw.meta,10 default.rgw.log 是active的，它的mds daemon为ceph-xxx-osd03.gz01 又添加一个新的mds daemon后，它会处于standby状态，若前两个mds daemon出问题，它会顶替上去 5. #Ceph 存储集群默认要求认证，需指定相应的密钥环文件 #sudo ceph-fuse -n client.
6.4K30发布于 2020-07-20 - 来自专栏CSDN技术博客
Glusterfs分布式存储部署
Glusterfs是一个开源的分布式文件系统，容量可以按比例的扩展，且性能却不会因此而降低。 廉价且使用简单，完全抽象在已有的文件系统之上。 (1) 分布式卷（distribute voulme） 分布式模式，既DHT，是GlusterFS的默认模式，在创建卷时，默认选项是创建分布式卷。 在配置时指定条带数必须等于卷中Brick 所包含的存储服务器数，在存储大文件时，性能尤为突出，但是不具备冗余性。 分布式复制卷（distribute replica volume） 最少需要4台服务器才能创建。 gluster volume create ocp replica 2 192.168.1.10:/data5/ocp 192.168.1.11:/data5/ocp 192.168.1.12:/data5
4.9K50发布于 2021-08-10 - 来自专栏星汉技术
Redis入门：分布式存储
Redis入门：分布式存储 要完成数据的分片存储，需要多个redis实例。 1 多个REDIS实例 前面的单个redis节点实例的启动时默认配置端口号6379。 read the configuration file, Redis must be 4 # started with the file path as first argument: 5 Note on units: when memory size is needed, it is possible to specify 9 # it in the usual form of 1k 5GB DB: 375 # * After 3600 seconds (an hour) if at least 1 key changed 376 # * After 300 seconds (5
1.7K30编辑于 2022-03-24 - 来自专栏DevOps
分布式存储：alluxio简介
Alluxio 的优势包括： 内存速度 I/O ：Alluxio 能够用作分布式共享缓存服务，这样与 Alluxio 通信的计算应用程序可以透明地缓存频繁访问的数据（尤其是从远程位置），以提供内存级 I 简化云存储和对象存储接入 ：与传统文件系统相比，云存储系统和对象存储系统使用不同的语义，这些语义对性能的影响也不同于传统文件系统。 将 Alluxio 与云存储或对象存储一起部署可以缓解这些问题，因为这样将从 Alluxio 中检索读取数据，而不是从底层云存储或对象存储中检索读取。 当Alluxio与本地计算一同部署时，Alluxio可管理计算集群的存储并将应用所需数据本地化，从而实现： 通过智能分布式缓存提高读写性能 减少数据复制，从而节约网络成本 提供灵活API接口和云存储安全模式 5. 应用场景5：支持跨数据中心的数据访问 许多企业出于性能、安全或资源隔离的目的，建立了独立于主数据集群的卫星计算集群。
1.6K10编辑于 2024-03-29 - 来自专栏全栈程序员必看
分布式文件存储——简介
1、分布式文件系统种类简介： 常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务 FastDFS：一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 TFS：TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问 2、fastDFS简介： FastDFS是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。 5、fastDFS同步简介： 写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的
4.7K30编辑于 2022-08-14 - 来自专栏全栈程序员必看
HTML 5 Web 存储
大家好，又见面了，我是全栈君 HTML5 提供了两种在客户端存储数据的新方法： localStorage – 没有时间限制的数据存储 sessionStorage – 针对一个 session 的数据存储 html5 web storage的浏览器支持判断 要判断浏览器是否支持localStorage可以使用下面的代码： if(window.localStorage){ alert(“浏览支持localStorage localStorage和sessionStorage都具有相同的操作方法，例如setItem、getItem和removeItem等 localStorage和sessionStorage的方法 setItem存储 value http://hovertree.com/menu/html5/ 用途：将value存储到key字段 用法：.setItem( key, value) 代码示例：sessionStorage.setItem (“key”, “value”); localStorage.setItem(“site”, “xiao”); getItem获取value 用途：获取指定key本地存储的值 用法：.getItem
70910编辑于 2022-07-15 - 来自专栏sktj
Ceph分布式存储实战
1、ceph版本的历史 image.png 2、块设备:LIBRBD 对象存储：LIBRGW CEPHFS：libcephfs osd:数据存储、复制等 monitor：Monitor map pg map/crush map MDS:fs of metadata image.png 3、ceph架构图 image.png 4、monitor节点paxos image.png 5、
1.7K30编辑于 2022-05-18 - 来自专栏开源部署
搭建Ceph分布式存储
配置node1节点的osd1存储设备： [yzyu@node1 ~]$ sudo fdisk /dev/sdc...sdc ##格式化硬盘，转换为GPT分区 [yzyu@node1 ~]$ / [yzyu@node1 ~]$ ls -ld /var/local/osd1/ [yzyu@node1 ~]$ df -hT [yzyu@node1 ~]$ exit 配置node2节点的osd1存储设备 6789/0,node2=10.199.100.172:6789/0} election epoch 6, quorum 0,1 node1,node2 fsmap e5: $3}' >>/etc/ceph/admin.secret [root@ceph-client ~]# cat /etc/ceph/admin.secret AQCd/x9bsMqKFBAAZRNXpU5QstsPlfe1 777，并且属主和属组必须为ceph； 5.
1.8K10编辑于 2022-07-28 - 来自专栏云计算运维
分布式存储Ceph(一)
hdfs 分布式网络文件系统 glusterfs 分布式网络文件系统，不需要管理服务器 ceph 分布式网络文件系统，块存储 #注意： 1.分布式存储不一定是对象存储，所有的对象存储一定是分布式存储 2.分布式文件系统的元数据服务器存储的各个数据的位置信息 5.对象存储 为什么需要对象存储？ 而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做 、自动化的、分布式的对象存储。
1.5K20发布于 2021-08-18 - 来自专栏HUC思梦的java专栏
分布式文件存储-FastDFS
1.1 FastDFS简介 1.1.1 FastDFS体系结构 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题 Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。 可以将storage称为存储服务器。 ? 1.1.2 上传流程 ? 客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文件的索引信息。 是由存储服务器根据特定信息生成，文件名包含：源存储 服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 ) { return md5; } public void setMd5(String md5) { this.md5 = md5; }
2.2K10发布于 2020-09-03 - 来自专栏分布式存储
ceph分布式存储-块存储BlueStore性能测试
file(s) / 1024MB) Jobs: 19 (f=18): [_(1),r(3),_(1),r(3),_(1),r(2),_(1),r(1),_(1),r(1),_(1),r(1),_(2),r(5) threads read-libaio: Laying out IO file(s) (1 file(s) / 1024MB) Jobs: 6 (f=6): [_(6),w(1),_(4),w(1),_(5) 1 file(s) / 1024MB) Jobs: 18 (f=18): [m(4),_(2),m(1),_(2),m(1),_(2),m(4),_(4),m(2),_(1),m(1),_(1),m(5) , 30个线程并发，持续时间200s 测试结果：30线程并发，带宽：231 MB/s 平均IOPS： 57839 耗时：0.518ms fio -filename=/mnt/test/xxxxxx5 块大小 - 4k，16k，64k，256k5. 模式 - 读和写6.
10.9K20发布于 2020-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号