Lustre 文件系统安装

reposync configfile:

[root@localhost html]# cat lustre-repo.conf 
[lustre-server]
name=lustre-server
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7.6.1810/server
# exclude=*debuginfo*
gpgcheck=0

[lustre-client]
name=lustre-client
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7.6.1810/client
# exclude=*debuginfo*
gpgcheck=0

[patchless-ldiskfs]
name=patchless-ldiskfs
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7.6.1810/patchless-ldiskfs-server
# exclude=*debuginfo*
gpgcheck=0

[e2fsprogs-wc]
name=e2fsprogs-wc
baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7
# exclude=*debuginfo*
gpgcheck=0

[root@localhost html]# reposync -c lustre-repo.conf -n -r lustre-server -r lustre-client -r patchless-ldiskfs -r e2fsprogs-wc

[root@localhost repo]# proxychains4 reposync -c ../lustre-repo.conf -n -r lustre-server -r lustre-client -r patchless-ldiskfs -r e2fsprogs-wc

cd /usr/share/nginx/html/repo
for i in e2fsprogs-wc lustre-client lustre-server patchless-ldiskfs; do
(cd $i && createrepo .)
done

[root@localhost html]# cat lustre.repo 
[lustre-server]
name=lustre-server
baseurl=http://127.0.0.1/repo/lustre-server
# enabled=0
gpgcheck=0
proxy=_none_

[lustre-client]
name=lustre-client
baseurl=http://127.0.0.1/repo/lustre-client
# enabled=0
gpgcheck=0

[e2fsprogs-wc]
name=e2fsprogs-wc
baseurl=http://127.0.0.1/repo/e2fsprogs-wc
# enabled=0
gpgcheck=0

# patchless-ldiskfs

[patchless-ldiskfs]
name=patchless-ldiskfs
baseurl=http://127.0.0.1/repo/patchless-ldiskfs
# enabled=0
gpgcheck=0

0. 关闭防火墙，关闭 selinux 
1. 安装 repo 
    a. 安装 epel-release repo , yum install, yum makecache
    b. 安装 nginx repo , yum install , yum makecache
    c. 启动 nginx ; cd /usr/share/nginx/html 
    d. 覆盖 nginx 配置文件并reload; nginx -s reload 
    e. 创建 lustre repo;  运行 makerepo.sh 更新索引；
    f. 复制repo 配置文件；yum makecache;
2. 安装 lustre 
    a. 参考 lustre wiki; http://wiki.lustre.org/Installing_the_Lustre_Software
    b. 安装dkms 
    c. 安装 Lustre Servers with LDISKFS OSD Support 
    d. 重新启动；进入新内核；
    e. 继续完成安装；通过 modprobe -v lustre 检测lustre 模块是否能够加载；
3. 安装 lustre client 
    a. 参考 https://docs.aws.amazon.com/fsx/latest/LustreGuide/install-lustre-client.html 
    b. 进行在 ubuntu 18.04 安装 deb 
    c. dpkg -i install lustre-client-modules & lustre-utils 
    d. curl -O -L http://10.134.150.13/client/lustre-client-modules-4.15.0-45-generic_2.12.2-1_amd64.deb 
    e. curl -O -L http://10.134.150.13/client/lustre-client-utils_2.12.2-1_amd64.deb 
    f. 安装 apt install perl-modules-5.22; apt install libperl5.22; apt install libsnmp30;
    g. 记得配置好ubuntu的源；
4. 启动lustre
    a. 服务端格式化硬盘，并启动 lustre 服务；绑定到指定的网卡；并创建挂载点 /mnt/mdt /mnt/ost0
    b. mkfs.lustre --fsname=lustrefs --mgs --mdt --index=0 /dev/sdb  配置 MGS
    c. mount.lustre /dev/sdb /mnt/mdt 挂载 mgs
    d. mkfs.lustre --fsname=lustrefs --mgsnode=10.134.150.13@tcp --ost --index=0 /dev/sdc 配置 OSS
    e. mount.lustre /dev/sdc /mnt/ost0 
    f. 启动lustre 服务器 systemctl restart lustre; 
    g. 客户端挂在 lustre： mount.lustre 192.168.83.128@tcp:/lustrefs /mnt/lustre 
    h. mkfs.lustre --fsname=lustrefs --mgsnode=192.168.83.128@tcp --ost --index=0 /dev/sdc 配置 OSS 防止网卡不够智能的时候出现找不到mgs的问题；

创建位于同一VPC的两台虚拟机；一台Ubuntu，一台Centos 1806;
在创建CentOS 实例的时候，注意多创建两块云盘；
设置好安全组，保证位于同一VPC两台机器可以互相访问;
上传Lustre安装包至其中一台VPC;
安装nginx: systemctl status nginx 在需要安装的Centos 上;
按照Lustre安装步骤进行安装;

安装客户端(开启客户端扩展属性)：
dpkg -i install lustre-client-modules & lustre-utils
apt --fix-broken install 
mount.lustre -o user_xattr 192.168.83.128@tcp:/lustrefs /mnt/lustre