作者：Pissa_lo | 来源：互联网 | 2023-09-05 19:59
Openfiler是一款网络存储软件，在OracleRAC部署的时候，可以用来模拟共享存储，并实现多路径（Multipath）。多路径简单来说，就是连接磁盘的多条链路，避免单条链
Openfiler是一款网络存储软件，在Oracle RAC部署的时候，可以用来模拟共享存储，并实现多路径（Multipath）。多路径简单来说，就是连接磁盘的多条链路，避免单条链路中断导致的数据库不可用，另外多条链路间还能实现负载均衡。
一、场景
现在需要在VM虚拟机上搭建一套测试RAC集群（CentOS7.7+11.2.0.4），计划使用Openfiler软件模拟共享存储及实现多路径，共享磁盘的规划如下：
磁盘名称 |
说明 |
大小 |
数量 |
|---|
+OCR |
集群注册表和表决磁盘 |
3G |
1Gx3 |
+DATA |
数据文件、control file、spfile、redo log |
20G |
1 |
+FRA |
归档 |
5G |
1 |
Openfiler两块网卡IP：
192.168.10.55
10.10.10.15
本篇客户端为CentOS 7，操作均验证过
二、Openfiler安装
1.下载
https://www.openfiler.com/community/download
2.安装
使用VMware安装前配置：
- 打开【VMware Workstation 15 Pro】
- 点击【创建新的虚拟机】
- 点击【自定义（高级）】
- 【硬件兼容性】选择【Workstation 15.x】
- 选择【稍后安装操作系统】
- 选择【Linux】，版本选择【其他 Linux 2.6.x 内核64位】，因为Openfier的iso内核是2.6
- 设置虚拟机名称及位置
- 设置【处理器数量】2【每个处理器的内核数量】2
- 设置【此虚拟机的内存】4096M
- 设置网络连接NAT
- I/O控制器类型【LSI Logic（推荐）】
- 虚拟磁盘类型【SCSI】
- 【创建新的虚拟磁盘】
- 最大磁盘大小【20G】【将虚拟磁盘存储为单个文件】
- 磁盘文件名称，我用默认
- 完成
- 编辑虚拟机设置
- 添加【网络适配器】选择仅主机模式模式，这是第二块网卡
- 添加【硬盘】，加3块20G硬盘，勾选【独立】【永久】
- CD/DVD选择刚才下载好的镜像
- 点击开启此虚拟机，开始安装
安装步骤：
这里使用sda作为系统安装盘：swap 4096M，/boot 1024M /剩下所有
下面就开始正式安装了，几分钟就装好，reboot后显示登陆页面
账号：root
密码：刚才设置的
到此就完成了Openfiler的安装，可以使用WEB界面访问：
- 登陆地址 https://192.168.10.55:446/
- 默认账号密码 openfiler /password
三、Openfiler配置
一般的配置流程是：pv->raid)->vg->lv->map，不用raid可以跳过
1.创建PV-物理卷(Physical Volume)
点击Edit Disk下面的sbd\sbc\sdd进去创建物理卷，这里可以设置RAID array member，如果要创建RAID，可以点右侧【Software RAID】
三个盘PV都创建完成可见
2.创建VG-卷组(Volume Group)
3.创建LV-逻辑卷(Logical Volume)
点击【Volumes】-右侧【Add Volume】
输入逻辑卷的名称、描述、设置大小，Filesystem / Volume type选择block，最后create
我们按照之前的规划添加逻辑卷
创建完成
4.服务端配置
再点击【ISCSI Targets】里的【LUN Mapping】
- 配置访问控制
导航栏选择【SYSTEM】-最下方【Network Access Configuration】，如下添加
到这里服服务端配置完成。
四、ISCSI客户端配置
1.检查安装包
rpm -qa |grep iscsi
rpm -qa |grep device-mapper
yum install iscsi-initiator*
yum install device-mapper device-mapper-event device-mapper-multipath device-mapper-multipath-libs
systemctl start iscsi.service
systemctl start iscsid.service
systemctl status iscsi.service
systemctl status iscsid.service
2.客户端发现多路径
iscsiadm
iscsiadm
iscsiadm -m discovery -t st -p 192.168.10.55
iscsiadm -m discovery -t st -p 10.10.10.15
iscsiadm
3.存储器登陆
执行完上一步，使用fdisk -l还是查看不到磁盘，执行下面登陆命令就能看到磁盘了
iscsiadm -m node
iscsiadm
iscsiadm
iscsiadm
iscsiadm
iscsiadm -m node
iscsiadm -m session -R
执行完login，在fdisk -l就能看到,两条链路每个链路对应5块盘，系统一共显示10块，实际上还是5块，下图上的sdh和sdi实际上就是1块
另外有iscsi需要了解：
/var/lib/iscsi/
/var/lib/iscsi/send_targets
/var/lib/iscsi/nodes
五、Multipath多路径配置
上阶段完成后，可以到系统多了一些磁盘，两条链路，每条5个，共10个盘。我们现在使用多路径就能让两块模拟成一块，并且多路径还有负载均衡的作用
1.查看状态并创建配置文件
multipath –ll
根据提示创建
/sbin/mpathconf
multipath –ll
3.多路径软件添加至内核模块中
lsmod |grep multipath
modprobe dm-multipath
modprobe dm-round-robin
modprobe dm-service-time
4.multipathd服务
systemctl status multipathd
systemctl start multipathd
systemctl enable multipathd
systemctl list-unit-files|grep multipathd
systemctl reload multipathd
5.编辑/etc/multipath.conf配置文件
刚才生成的配置文件中有示例，可以参照添加，另外具体的参数说明，红帽有中文配置文档，文章最后有下载链接
下面是这个环境我的配置：
defaults {
user_friendly_names yes
find_multipaths yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
blacklist {
devnode "^sda"
}
multipaths {
multipath {
wwid 14f504e46494c45524174344177492d424f53682d4b4e6f6c
alias mpatha
}
multipath {
wwid 14f504e46494c45524d39495237512d706d7a4c2d30326a43
alias mpathb
}
multipath {
wwid 14f504e46494c455256416b3755742d6e7666472d37516b62
alias mpathc
}
multipath {
wwid 14f504e46494c45526f67444277622d6257744e2d6e566e44
alias mpathd
}
multipath {
wwid 14f504e46494c4552666a325731562d766455382d394c6a4d
alias mpathe
}
}
devices {
device {
vendor "COMPAQ "
product "HSV110 (C)COMPAQ"
path_grouping_policy multibus
getuid_callout "/lib/udev/scsi_id
path_checker readsector0
path_selector "round-robin 0"
hardware_handler "0"
failback 15
rr_weight priorities
no_path_retry queue
}
}
修改完重启服务，不生效的话再重启系统init 6
6.负载均衡测试
dd if=/dev/zero of=/dev/mapper/mpatha
iostat 2
multipath -ll
说明:
- 其中/dev/mapper/mpathn 是软件虚拟出来的多路径设备,可以被我们用来挂载使用
- /dev/dm-n 这个是软件自身使用的，不能被软件以外使用，不可挂载，但是rac是使用这个配置UDEV
六、UDEV绑定
不用分区！
lsblk|grep mpath|sort|uniq
cat /etc/multipath/bindings |grep -v '#'
udevadm info
cd /etc/udev/rules.d
touch 99-oracle-asmdevices.rules
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45524174344177492d424f53682d4b4e6f6c",SYMLINK+="asmdisk1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45524d39495237512d706d7a4c2d30326a43",SYMLINK+="asmdisk2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c455256416b3755742d6e7666472d37516b62",SYMLINK+="asmdisk3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45526f67444277622d6257744e2d6e566e44",SYMLINK+="asmdisk4",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c4552666a325731562d766455382d394c6a4d",SYMLINK+="asmdisk5",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45524174344177492d424f53682d4b4e6f6c",RUN+="/bin/sh -c 'mknod /dev/asmdisk1 b $major $minor; chown grid:asmadmin /dev/asmdisk1; chmod 0660 /dev/asmdisk1'"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45524d39495237512d706d7a4c2d30326a43",RUN+="/bin/sh -c 'mknod /dev/asmdisk2 b $major $minor; chown grid:asmadmin /dev/asmdisk2; chmod 0660 /dev/asmdisk2'"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c455256416b3755742d6e7666472d37516b62",RUN+="/bin/sh -c 'mknod /dev/asmdisk3 b $major $minor; chown grid:asmadmin /dev/asmdisk3; chmod 0660 /dev/asmdisk3'"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c45526f67444277622d6257744e2d6e566e44",RUN+="/bin/sh -c 'mknod /dev/asmdisk4 b $major $minor; chown grid:asmadmin /dev/asmdisk4; chmod 0660 /dev/asmdisk4'"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-14f504e46494c4552666a325731562d766455382d394c6a4d",RUN+="/bin/sh -c 'mknod /dev/asmdisk5 b $major $minor; chown grid:asmadmin /dev/asmdisk5; chmod 0660 /dev/asmdisk5'"
KERNEL=="sd*", ENV{DEVTYPE}=="disk", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="14f504e46494c45523143594e70582d5777694a2d7a4c6657", RUN+="/bin/sh -c 'mknod /dev/asm-arch002 b $major $minor; chown grid:asmdba /dev/asm-arch002; chmod 0660 /dev/asm-arch002'"
systemctl restart systemd-udevd.service
udevadm control
udevadm trigger
/sbin/udevadm trigger
七、总结
- 存储多路径配置一般是由存储工程师完成，交给DBA配置就行，但是这不代表DBA不应该掌握；
- 学习这块知识暴露出对存储、网络知识的不足，应该单独拿出时间学习整理一下（HBA、SAN、PCIE、ISCSI等等）；
- Multipath配置有红帽官方文档，6到7版本都有，深入学习应参照；
- 本篇已经尽可能按照标准方式整理过程，但是不代表完全没有错误，还请发现问题或者有疑问的朋友尽可能提出。
京公网安备 11010802041100号