首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏章工运维

    glusterfs

    目前 GlusterFS 已被 Red Hat 收购,它的官网是:https://www.gluster.org/ # GlusterFS 在企业中的应用场景 理论和实践上分析,GlusterFS 目前主要适用于大文件存储场景 建议存放文件大小大于 1MB # GlusterFS 安装 # 环境说明 CentOS 7 GlusterFS 3 台机器安装 GlusterFS 组成一个集群。 CentOS 安装 GlusterFS 非常的简单 在三个节点都安装 GlusterFS # 安装 GlusterFS yum 源文件 #yum install centos-release-gluster # 安装 GlusterFS 软件 yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma 启动 GlusterFS 客户端 部署 GlusterFS 客户端并 mount GlusterFS 文件系统 [root@client ~]#yum install -y glusterfs glusterfs-fuse [

    71720编辑于 2023-05-19
  • 来自专栏jeremy的技术点滴

    初识glusterfs

    后来在深度实践KVM这本书里看到了glusterfs,再加上同事也推荐让看一看glusterfs,于是周末花时间研究了下glusterfs,这里作一下记录。 概念 一语句解释glusterfs GlusterFS is a scalable network filesystem suitable for data-intensive tasks such ping 三台服务器均配置好glusterfs的软件安装源 实操 首先在两台Server执行以下操作 #安装glusterfs的服务器端软件包 yum -y install glusterfs glusterfs-server #启动glusterfs daemon服务 chkconfig glusterd on service glusterd start #配置glusterfs允许外界访问的防火墙规则 iptables 的FUSE挂载方式依赖的软件包 yum -y install glusterfs glusterfs-fuse #创建挂载目录 mkdir -p /mnt/gfs_b1 #写入挂载配置 echo " gfs1

    1.5K40发布于 2018-05-10
  • 来自专栏首富手记

    GlusterFS 简介

    GlusterFS 简介 GlusterFS概述 GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH 公司负责开发。 GlusterFS 基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。 客户端可通过原生 GlusterFS 协议访问数据,其他没有运行 GlusterFS 客户端的终端可通过 NFS/CIFS 标准协议通过存储网关访问数据(存储网关提供弹性卷管理和访问代理功能)。 POSIX: 一个标准,GlusterFS兼容。 GlusterFS卷类型 为了满足不同应用对高性能、高可用的需求,GlusterFS 支持 7 种卷,即 distribute卷、stripe卷、replica卷、distribute stripe卷、

    3.8K21发布于 2019-05-13
  • 来自专栏Thierry的云原生分享

    GlusterFS简介

    POSIX: 一个标准,GlusterFS兼容。 e)在glusterfs client的处理末端,通过网络将数据递交给 Glusterfs Server,并且将数据写入到服务器所控制的存储设备上。 最后经过GlusterFS Client的计算,并最终经过网络将请求或数据发送到GlusterFS Server上;缺点GlusterFS(GNU ClusterFile System)是一个开源的分布式文件系统 这一次我们反其道而行之,不再谈GlusterFS的各种优点,而是深入谈谈GlusterFS当下的问题和不足,从而更加深入地理解GlusterFS系统,期望帮助大家进行正确的系统选型决策和规避应用中的问题 同时,这些问题也是GlusterFS研究和研发的很好切入点;元数据性能GlusterFS使用弹性哈希算法代替传统分布式文件系统中的集中或分布式元数据服务,这个是GlusterFS最核心的思想,从而获得了接近线性的高扩展性

    1.4K41编辑于 2022-11-24
  • 来自专栏首富手记

    glusterfs基本操作

    基本操作 集群节点 扩展集群 1,必须做hosts域名解析 其实通过IP地址也能做集群,但是不建议这种方式. 192.168.1.210 glusterfs04 2, 添加节点到集群中,在当前所有集群节点中都需要执行 gluster peer probe glusterfs04 3,查看对等状态 gluster peer status 查看集群节点信息 gluster pool list 删除节点 从集群中删除节点 gluster peer detach glusterfs04 卷 创建卷 distribute volume分布式卷(默认) 命令: > gluster volume create NEW-VOLNAME 和glusterfs02 组成分布式 glusterfs03和glusterfs04 组成分布式 glusterfs05和glusterfs06 组成分布式 然后在组成镜像 三个节点分布式镜像2份 > 和glusterfs02 和glusterfs03 组成分布式 glusterfs04 和glusterfs05 和glusterfs06 组成分布式 然后在组成镜像 Distributed Striped

    1.4K20发布于 2019-05-13
  • 来自专栏首富手记

    GlusterFS快速安装

    集群还能使用 cat >> /etc/hosts<<'EOF' 192.168.1.253 glusterfs01 192.168.1.238 glusterfs02 192.168.1.244 glusterfs03 服务 添加安装源,如果不添加无法安装glusterfs-server yum install centos-release-gluster 安装glusterfs服务 yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel 启动glusterfs hosts解析 cat >> /etc/hosts<<'EOF' 192.168.1.253 glusterfs01 192.168.1.238 glusterfs02 192.168.1.244 glusterfs03 EOF 挂在glusterfs提供的目录 mount -t glusterfs glusterfs01:/gv0 /mnt 然后写入数据测试 touch /mnt/{1..10} 然后去glusterfs

    1.5K10发布于 2019-05-13
  • 来自专栏敏而好学

    如何调试GlusterFS

    用法示例:         mount -t glusterfs -o log-level=DEBUG 192.168.1.120:/tank /mnt 服务器端调试方法     可以更改日志级别:

    1.7K10发布于 2020-02-01
  • 来自专栏敏而好学

    .glusterfs 目录说明

        .glusterfs目录大小基本是等于当前brick中的所有文件大小,原因是里面主要存放的是brick中文件的硬链接。      .glusterfs目录是3.3版本引入的一个新结构,它是用来做什么的呢? 什么是GFID?     你可能知道,glusterfs将元数据信息存储在文件的扩展属性中。 这个GFID用于建立.glusterfs这个目录结构,每个文件都对应一个硬链接放在.glusterfs目录中,存放规则是,前两个数字创建一个目录,接着两个数字创建一个目录,然后目录中存放是一个完整的uuid /d_home/.glusterfs/c6/27/c6275755-4baf-4a33-bc76-90c56dac23e0 为什么要这样做?     NFSv4支持     很快,glusterfs会支持NFS v4,会使用匿名文件描述符。gfid文件允许在目录中创建gfid文件,但不在目录中创建对应的条目。

    2.3K20发布于 2020-02-01
  • 来自专栏软件开发-青出于蓝

    Glusterfs的peervolumebrick

    由于做云存储,使用到glusterfs,简单的记录下。 1、Peer     查看peer的情况,当前的glusterfs集群中,有当前节点和11、12三个节点组成。 hive_db_volume,如下List-7,挂载之后,在10这台机器的/mnt/gluster/hive_db下,我们就可以存储数据了,注意是我们手动写数据是到/mnt/gluster/hive_db,glusterfs List-7 #在/mnt下创建目录用于挂载 mkdir -p /mnt/gluster/hive_db #如下命令进行挂载,hive_db_volume是我们之前创建的卷 mount -t glusterfs     List-9的操作之后,再查看该volume的详情,如下List-10,发现对比List-6,少了一个brick,这样大致应该了解brick是什么了,大体可以理解为卷的数据存储在这三个brick中,glusterfs

    1.7K20发布于 2019-07-08
  • 来自专栏devops_k8s

    GlusterFS更换故障Brick

    故障环境还原 GlusterFS集群系统一共有4个节点,集群信息如下 # 分别在各个节点上配置hosts、同步好系统时间,关闭防火墙和selinux [root@glusterfs-master-8 ,可看数据存储的glusterfs目录 # 创建集群,在GlusterFS-master节点上操作: [root@GlusterFS-master ~]# gluster peer probe 192.168.0.9 节点的/data没有挂载上 [root@GlusterFS-slave3 ~]# df -h #重启后,发现GlusterFS-slave3节点的存储目录不在了,数据没有了。 [root@GlusterFS-slave3 ~]# ls /data/ [root@GlusterFS-slave3 ~]# #重启服务器后,记得启动glusterd服务 [root@GlusterFS-slave3 /glusterfs/var/lib/glusterd/glustershd/run/glustershd.pid -l /usr/local/glusterfs/var/log/glusterfs/glustershd.log

    95040发布于 2021-06-22
  • 来自专栏Netkiller

    Glusterfs 文件系统

    /3.5/3.5.2/CentOS/glusterfs-epel.repo -P /etc/yum.repos.d/ yum install -y glusterfs-server chkconfig /3.5/3.5.2/CentOS/glusterfs-epel.repo -P /etc/yum.repos.d/ yum install -y glusterfs-server chkconfig /3.5/3.5.2/CentOS/glusterfs-epel.repo -P /etc/yum.repos.d/ yum install -y glusterfs-client Test using the volume mkdir /mnt/glusterfs mount.glusterfs server.example.com:/testvol /mnt/glusterfs Add an /etc/fstab Add an entry to /etc/fstab server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,

    1.2K100发布于 2018-03-05
  • 来自专栏存储内核技术交流

    Glusterfs性能调优

    说明 涉及到的参数依据每个服务器的配置而不同,请参照服务器配置来设定关于内核和glusterfs的性能参数 volume信息 $ gluster volume info Volume Name: dht-vol 指定服务端网络请求的同时处理的个数,默认是2,这个参数值不要超过cpu core的个数 gluster volume set dht-vol server.event-threads 32 // glusterfs 磁盘或者文件系统有问题会导致glusterfsd自杀,然后退出 gluster volume set dht-vol storage.health-check-timeout 0 heal修复速度优化 // 设置glusterfs ,这个在修复速度上有非常大的提高 gluster volume set rep-vol performance.enable-least-priority no 三副本可用性优化 //如果使用的是glusterfs

    3.5K42编辑于 2022-08-17
  • 来自专栏山山仙人的专栏

    kubernetes存储之GlusterFS

    1、glusterfs概述 1.1、glusterfs简介 glusterfs是一个可扩展,分布式文件系统,集成来自多台服务器上的磁盘存储资源到单一全局命名空间,以提供共享文件存储。 heketi还支持任意数量的glusterfs集群,以保证接入的云服务器不局限于单个glusterfs集群。 本文的glusterfs卷模式为复制卷模式。 3.1.1、所有节点安装glusterfs客户端 $ yum install -y glusterfs glusterfs-fuse -y 3.1.2、节点打标签 需要安装gfs的kubernetes设置 3.2.1、下载相关安装文件 [root@k8s-master-01 glusterfs]# pwd /root/manifests/glusterfs [root@k8s-master-01 glusterfs

    2.5K20发布于 2020-04-29
  • 来自专栏敏而好学

    如何选择GlusterFS版本

    一、GlusterFS当前版本状态说明 Preview release GlusterFS 3.7.6(2015-11-9) GlusterFS 3.7.4(2015-9-3) Stable release GlusterFS 3.6.7(2015-11-25) GlusterFS 3.5.6(2015-9-18) GlusterFS 3.4.7(2015-4-6) 已停止更新 二、如何选择GlusterFS 线上部署使用GlusterFS,版本选择应该注意以下几点: 选稳定版 选默认功能 其他功能,不了解,不添加 如果新接入GlusterFS,建议先在3.6.7上做测试。

    1.7K30发布于 2020-02-11
  • 来自专栏存储内核技术交流

    Glusterfs使用心得

    Glusterfs介绍 Glusterfs是一个分布式文件存储,通过多个主机磁盘聚合,对外提供统一的命令空间的存储文件存储服务。 Glusterfs整个架构采用堆栈插件实现,如果用户要实现自定义的功能,只需要实现自己需要的posix语义和对象你想要的功能即可,灵活性比较大。 Glusterfs作为无中心架构,扩展性相对比较好。 Glusterfs内部采用了弹性哈希算法,Glusterfs客户端针对每个文件在写入集群时候需要计算它父目录的layout和文件名的哈希值,然后选择一个glusterfsd进行写入.Glusterfs把需要计算的部分放到了客户端 ,Glusterfs服务端相对压力会比较好。 Glusterfs无中心架构 glusterfs,作为fuse mount的服务,通过fuse xlator作为入口,通过glusterfs 客户端的dht xlator,最终通过protocol/client

    90010编辑于 2022-08-17
  • 来自专栏存储内核技术交流

    Glusterfs Xlator开发详解

    开发环境 目前版本基于glusterfs 9.1实现 gcc版本为8 服务端xlator开发流程 开发fileinfo xlator 根据读写类型,输出当前xlator的名称 根据读类型,输出当前文件的 /glusterfs.h> #include <glusterfs/xlator.h> #include <glusterfs/logging.h> #include "fileinfo.h" // /xlator/storage下面 [root@CentOS8 ~/Source/perryn/glusterfs-9.1/xlators]$ ls cluster debug features -9.1/xlators]$ cd storage/ [root@CentOS8 ~/Source/perryn/glusterfs-9.1/xlators/storage]$ tree fileinfo -9.1]$ gluster volume create dht 10.211.55.6:/data1/brick force [root@CentOS8 ~/Source/perryn/glusterfs

    97640编辑于 2022-08-17
  • 来自专栏存储内核技术交流

    glusterfs问题诊断方法

    /sbin/glusterfs $ set args --acl --process-name fuse --volfile-server=10.193.189.153 --volfile-id=rep3 _vol /mnt/rep3_vol $ br main glusterfs 开启debug.trace模块 开启设置 // 可以查看请求的是哪一个FOP //客户端启用 gluster volume ~]# systemctl daemon-reload glusterfs客户端进程的statedump 生成statedump信息 //针对glusterfd/glusterfsd/glusterfs / 显示file的gfid挂载方式 $ mount -t glusterfs -o aux-gfid-mount vm1:test /mnt/testvol $ getfattr -n glusterfs.gfid.string /espnet_aishell/data/train/wav.scp trusted.glusterfs.pathinfo="(<DISTRIBUTE:speech_v6_rep_vol-dht> (<

    79720编辑于 2022-08-11
  • 来自专栏DevOps运维

    GlusterFS 4.1 深入使用

    开启卷配额 gluster volume quota disable 关闭卷配额 gluster volume quota limitusage 设定卷配额 2 增加副本及磁盘平衡 2.1 动态增加副本 glusterfs

    59310发布于 2021-11-16
  • 来自专栏运维前线

    CentOS7 安装GlusterFS

    https://blog.csdn.net/wh211212/article/details/79412081 CentOS7 安装GlusterFS GlusterFS 介绍 Gluster 基于文件的数据存储计算领域的数据带技术 基于文件的负载平衡技术 卷的双机备份技术 磁盘高速缓存技术以及排产技术 存储分配技术 GlusterFS安装 参考GlusterFS官方文档:http://docs.gluster.org =512 /dev/mapper/centos-glusterfs mkdir -p /data/brick1 echo '/dev/mapper/centos-glusterfs /data/brick1 xfs defaults 1 2' >> /etc/fstab mount -a && mount 安装GlusterFS 每一个节点安装GlusterFS yum install glusterfs-server volume 在另外一台服务器上测试 # 安装glusterfs客户端软件 yum -y install glusterfs glusterfs-fuse # 挂载 mount -t glusterfs

    1.4K20发布于 2019-05-26
  • 来自专栏开源部署

    分布式存储-GlusterFS

    介绍 glusterfs是一个免费,开源的分布式文件系统(它属于文件存储类型)。 在GlusterFS 架构中没有元数据服务器组件,这是其最大的设计这点,对于提升整个系统的性能、可靠性和稳定性都有着决定性的意义。 GlusterFS 支持 TCP/IP 和 高速网络互联。 客户端可通过原生 GlusterFS 协议访问数据,其他没有运行 GlusterFS 客户端的终端可通过 NFS/CIFS 标准协议通过存储网关访问数据。 /LATEST/CentOS/glusterfs-rhel8.repo [root@node2 ~]#vim /etc/yum.repos.d/glusterfs.repo # Place this file in your /etc/yum.repos.d/ directory [glusterfs-rhel8] name=GlusterFS is a clustered file-system

    7.3K20编辑于 2022-09-15
领券