-
IBM Storage Scale （GPFS）并行文件系统的搭建和简单使用
实验环境信息我们将在三台RHEL8.3版本的x86服务器上安装Spectrum Scale 5.1.1版本三台服务器已经预先进行了如下配置（1）RHEL安装盘作为本地YUM源（2）节点间互信，免密码登录（3）/etc/hosts中添加主机名称和IP地址信息（4）防火墙关闭且SELINUX=disabled（5）预安装以下rpm包yum install kernel-devel cpp gcc gcc-c++ glibc sssd ypbind openldap-clients krb5-workstation elfutils elfutils-devel make提取GPFS所需基本包注意：此后如没有特殊说明，都只在gpfs101节点上执行即可其中参数–silent 表示以静默方式提取，如果不加该参数需要输入数字“1”，同意相关协议/root/Spectrum_Scale_Advanced-5.1.1.0-x86_64-Linux-install –silent配置 Install 节点cd /usr/lpp/mmfs/5.1.1.0/ansible-toolkit/ ./spectrumscale setup -s 192.168.1.101添加节点并查看配置其中参数-a表示admin节点、-g表示GUI节点，-n表示NSD节点，-m表示manager节点，-q表示quorum节点./spectrumscale node add gpfs101 -a -g -n -m -q ./spectrumscale node add gpfs102 -a -g -n -q ./spectrumscale node add gpfs103 -n -q ./spectrumscale node list增加NSD磁盘空间，并查看其中参数-p表示主NSD节点，-fs表示创建的文件系统，-fg表示所在的Failure Group，-po表示存储池，-u表示存储的数据类型，“/dev/sdx”表示磁盘设备，实验中3个NSD节点各有3块本地磁盘sdb/sdc/sdd用于创建NSD。以下命令创建了一个Filesystem（gpfs）；3个Pool（system/pool01/pool02）；3个Failure Group（101/102/103）./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po system -u dataAndMetadata “/dev/sdb” ./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool01 -u dataOnly “/dev/sdc” ./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool02 -u dataOnly “/dev/sdd” ./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po system -u dataAndMetadata “/dev/sdb” ./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool01 -u dataOnly “/dev/sdc” ./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool02 -u dataOnly “/dev/sdd” ./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po system -u dataAndMetadata “/dev/sdb” ./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool01 -u dataOnly “/dev/sdc” ./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool02 -u dataOnly “/dev/sdd” ./spectrumscale nsd list查看文件系统，调整副本数量与挂载点其中参数 -mr表示metadata当前副本数，-MR表示metadata最大副本数，-r表示当前数据副本数，-R表示最大数据副本数，-m表示挂载点位置。这里可以通过list命令，查看副本数和挂载点修改前后的对比./spectrumscale filesystem list ./spectrumscale filesystem modify gpfs -mr 2 -MR 3 -r 2 -R 3 -m /gpfs ./spectrumscale filesystem list配置性能监控功能开启性能监控，默认已经打开./spectrumscale config perfmon -r on配置GPFS 集群名,通讯端口并查看其中参数-c表示集群名称，-e表示GPFS Daemon通讯端口范围./spectrumscale config gpfs -c gpfsdemo -e 60000-61000 ./spectrumscale config gpfs –list配置 Callhome 功能这里我们把callhome功能关闭./spectrumscale callhome disable查看并检查GPFS集群配置信息./spectrumscale install –precheck开始安装GPFS集群包括NSD，性能监控，GUI，文件系统等安装注意：前述步骤只是进行配置，当前步骤才开始按照前述配置执行安装./spectrumscale install该命令运行时间较长，请耐心等待16分钟
-
编译问题：
问题一：Cannot find a valid kernel header file. One of these files should exist. /lib/modules/3.10.0-1160.el7.x86_64/build/include/linux/version.h /usr/src/linux-3.10.0-1160.el7.x86_64/include/linux/version.h /usr/src/kernels/3.10.0-1160.el7.x86_64/include/generated/uapi/linux/version.h /lib/modules/3.10.0-1160.el7.x86_64/build/include/generated/uapi/linux/version.h Contact IBM Service if you still encounter this problem after you install all the required packages. make: *** [Autoconfig] 错误 1# 原因：路径/usr/src/kernels/3.10.0-1160.el7.x86_64不存在 [root@gpfs 3.10.0-1160.el7.x86_64]# ll /lib/modules/3.10.0-1160.el7.x86_64 total 3300 lrwxrwxrwx. 1 root root 39 Aug 31 08:35 build -> /usr/src/kernels/3.10.0-1160.el7.x86_64 …..[root@node1 src]# wget http://mirror.centos.org/centos/7/os/x86_64/Packages/kernel-devel-3.10.0-1160.el7.x86_64.rpm [root@node1 src]# rpm -Uvh kernel-devel-3.10.0-1160.el7.x86_64.rpm –force问题二：In file included from /usr/include/sys/ioctl.h:26:0, from /usr/lpp/mmfs/src/gpl-linux/lxtrace.c:61: /usr/include/bits/ioctls.h:23:24: 致命错误：asm/ioctls.h：没有那个文件或目录 #include <asm/ioctls.h> ^[root@node1 src]# find /usr/src/kernels/3.10.0-1160.el7.x86_64 -name “ioctls.h” /usr/src/kernels/3.10.0-1160.el7.x86_64/arch/x86/include/uapi/asm/ioctls.h /usr/src/kernels/3.10.0-1160.el7.x86_64/include/uapi/asm-generic/ioctls.h [root@node1 src]# rm -rf /usr/include/asm/ioctls.h [root@node1 src]# ln -s /usr/src/kernels/3.10.0-1160.el7.x86_64/arch/x86/include/uapi/asm/ioctls.h /usr/include/asm/ioctls.h问题三：kdump-kern.o：在函数‘GetOffset’中： kdump-kern.c:(.text+0x15)：对‘__x86_return_thunk’未定义的引用 kdump-kern.o：在函数‘KernInit’中： kdump-kern.c:(.text+0x1a5)：对‘__x86_return_thunk’未定义的引用 kdump-kern.o：在函数‘GenericGet’中： kdump-kern.c:(.text+0x348)：对‘__x86_return_thunk’未定义的引用 kdump-kern.c:(.text+0x35e)：对‘__x86_return_thunk’未定义的引用 kdump-kern.o：在函数‘tiInit’中： kdump-kern.c:(.text+0x3bc)：对‘__x86_return_thunk’未定义的引用 kdump-kern.o:kdump-kern.c:(.text+0x445): 跟着更多未定义的参考到 __x86_return_thunk collect2: 错误：ld 返回 1 make[1]: *** [modules] 错误 1 make[1]: 离开目录“/usr/lpp/mmfs/src/gpl-linux” make: *** [Modules] 错误 1vim /usr/lpp/mmfs/src/gpl-linux/kdump.c # 在122行添加内容 unsigned long __x86_return_thunk;问题四：kdump-kern.o: In function `GetOffset’: kdump-kern.c:(.text+0x9): undefined reference to `page_offset_base’ kdump-kern.o: In function `KernInit’: kdump-kern.c:(.text+0x58): undefined reference to `page_offset_base’ collect2: error: ld returned 1 exit status make[1]: *** [modules] Error 1 make[1]: Leaving directory `/usr/lpp/mmfs/src/gpl-linux’ make: *** [Modules] Error 1vim /usr/lpp/mmfs/src/gpl-linux/kdump.c # 在122行添加内容 unsigned page_offset_base;配置 GUI 账户创建admin账户，并添加到Administrator和SecurityAdmin组中/usr/lpp/mmfs/gui/cli/mkuser admin -g Administrator,SecurityAdmin之后输入两次密码，例如：admin001，在浏览器中可以通过 http://192.168.1.101 访问GUI界面注：GUI界面的使用不在本实验演示范围，接下来请回到命令行界面继续实验为CES服务修改 Hosts 文件注意：该步需要在所有节点执行在所有节点的hosts文件中，写入CES的IP地址Tips：Cluster Export Services（CES）可以提供高可用的文件和对象服务，包括NFS、SMB和Objectecho “192.168.1.104 ces104.cscdemo.cn ces104”>>/etc/hosts echo “192.168.1.105 ces105.cscdemo.cn ces105”>>/etc/hosts echo “192.168.1.106 ces106.cscdemo.cn ces106”>>/etc/hosts添加协议服务节点并查看配置gpfs101/gpfs102/gpfs103为协议服务节点./spectrumscale node add gpfs101 -p ./spectrumscale node add gpfs102 -p ./spectrumscale node add gpfs103 -p ./spectrumscale node list分配CES协议服务IP地址./spectrumscale config protocols -e 192.168.1.104,192.168.1.105,192.168.1.106配置cesShareRoot其中参数-f表示放置的文件系统，-m表示挂载路径./spectrumscale config protocols -f gpfs -m /gpfs配置开启NFS和SMB服务协议./spectrumscale enable nfs检查协议配置信息./spectrumscale deploy –precheck部署协议服务部署包括CES，NFS和SMB./spectrumscale deploy该命令运行时间较长，请耐心等待10分钟配置协议服务认证方式这里采用本地认证方式/usr/lpp/mmfs/bin/mmuserauth service create –data-access-method file –type userdefined添加认证用户注意：该步需要在所有节点执行创建本地用户，下面创建了 cscdemo 用户并且输入password作为密码useradd cscdemo /usr/lpp/mmfs/bin/smbpasswd -a cscdemo发布SMB共享目录创建smbshare1目录，给 cscdemo 用户设置该目录权限，并发布共享mkdir /gpfs/smbshare1 chown cscdemo /gpfs/smbshare1 /usr/lpp/mmfs/bin/mmsmb export add smbshare1 /gpfs/smbshare1访问SMB目录在桌面右上角选择 Applications -> File Manager然后输入smb://192.168.1.104/smbshare1 回车(请等待几秒钟，回车一次就好，待弹出对话框)选择 Connect as user ，输入用户名(Username)：cscdemo ，密码(Password)：password 点击 Connect在打开的目录中，尝试创建任何文件或目录，返回gpfs101的/gpfs/smbshare1可以查看到如有相关问题，请在文章后面给小编留言，小编安排作者第一时间和您联系，为您答疑解惑。 -
云和安全管理服务专家
