HA架构
注&＃xff1a;图片较大&＃xff0c;可点击在新窗口打开查看&＃xff1b;
整个HA集群可分为3层&＃xff1a;底层信息传递层、中间资源分配层和上层资源层&＃xff1b;
图中蓝色部分为各层对应的主要组件及其功能&＃xff0c;紫色部分是各层实现的开源软件&＃xff0c;橙色部分是其它备注信息&＃xff1b;
RHEL和CentOS的高可用集群解决方案
5版本
自带&＃xff1a;RHCS(cman&＃43;pacemaker)
第三方软件&＃xff1a;corosync&＃43;pacemaker&＃xff0c;heartbeat(v1或v2)
6版本
自带&＃xff1a;RHCS(cman&＃43;rgmanager)
第三方软件&＃xff1a;corosync&＃43;rgmanager&＃xff0c;cman&＃43;pacemaker&＃xff0c;heartbeat v3&＃43;pacemaker&＃xff0c;keepalived
重要概念
在准备部署HA集群前&＃xff0c;需要对其涉及的大量的概念有一个初步的了解&＃xff0c;这样在实际部署配置时&＃xff0c;才不至于不知所云
资源、服务与主机(又称节点)的关系&＃xff1a;
资源包括vip&＃xff0c;httpd&＃xff0c;filesystem等&＃xff1b;
可整合多个资源形成一个服务&＃xff1b;
服务必运行在某个主机上&＃xff0c;主机上也可不运行服务(此为空闲主机)&＃xff1b;
服务里的所有资源应该同时运行在同一个节点上&＃xff0c;实现方式有2种&＃xff1a;
资源组&＃xff1b;
排列约束
资源类型
primitive(或native)&＃xff1a;原生资源&＃xff0c;只能运行于一个节点
group&＃xff1a;组资源
clone&＃xff1a;克隆资源&＃xff0c;只能将原生资源定义为克隆属性&＃xff1b;一般用于定义stonith设备的参数(可定义“总克隆数”和“每个节点最多可运行的克隆数”等参数)
master/slave&＃xff1a;主从资源&＃xff0c;也是克隆类型的&＃xff0c;只能克隆2份&＃xff1b;主的能读能写&＃xff0c;从的不能读也不能写(如drbd的实现)
target-role&＃xff1a;即资源刚配置完成时是否启动的属性
Stopped&＃xff1a;资源不启动&＃xff1b;
Started&＃xff1a;选择合适节点启动&＃xff1b;
Master&＃xff1a;资源启动&＃xff0c;并提升其启动在主节点上&＃xff1b;
no-quorum-policy&＃xff1a;当集群故障&＃xff0c;分裂为多个部分(称为“集群分区”)&＃xff0c;当某一集群分区因无法满足“法定人数原则(即quorum)”而无法选举出主节点时&＃xff0c;此分区中节点上的资源可作如下处理
stop&＃xff1a;停止所有资源&＃xff0c;默认值
ignore&＃xff1a;继续管理所有资源&＃xff0c;即忽略集群故障&＃xff0c;在双节点实验环境中需要
freeze&＃xff1a;继续管理资源&＃xff0c;但不再接受来自其他集群分区下节点的资源
suicide&＃xff1a;隔离集群分区下的所有节点
资源转移的方式
rgmanager&＃xff1a;
failover domain即故障转移域&＃xff0c;利用优先级(priority)的机制决定主节点故障时&＃xff0c;资源的转移流向&＃xff1b;
pacemaker&＃xff1a;利用资源约束的机制&＃xff0c;有如下3种类型
资源黏性&＃xff1a;资源运行在当前节点上是否远离的倾向性&＃xff0c;数值越大表示越倾向留在当前节点
位置约束&＃xff1a;资源更倾向于运行在哪个节点上&＃xff0c;使用一个数值来表示约束的大小&＃xff0c;数值越大越倾
inf&＃xff1a;无穷大
n&＃xff1a;整数值
-n&＃xff1a;负数值
-inf&＃xff1a;负无穷大
排列约束&＃xff1a;资源运行在同一节点的倾向性
inf&＃xff1a;无穷大&＃xff0c;表示2个资源一定要运行在一起
-inf&＃xff1a;负无穷大&＃xff0c;表示2个资源绝不运行在一起
顺序次序&＃xff1a;定义资源的启动次序及关闭次序
HA集群的工作模型
A/P&＃xff1a;two nodes&＃xff0c;工作于主备模型&＃xff1b;
N-M&＃xff1a;N>M&＃xff0c;N个节点&＃xff0c;M个服务&＃xff1b;活动节点为M&＃xff0c;空闲节点为N-M个&＃xff1b;
N-N&＃xff1a;N个节点&＃xff0c;N个服务&＃xff1b;没有空闲节点&＃xff1b;
A/A&＃xff1a;two nodes&＃xff0c;双主模型&＃xff0c;双主模型最适用的场景是对LVS做高可用&＃xff1b;
配置部署HA集群
前期准备
各节点(即主机)的主机名与“uname -n”的结果保持一致&＃xff1a;
# Node1&＃43;Node2&＃xff1a;
vi /etc/hosts
172.16.25.16 node1.lamp.com node1
172.16.25.17 node2.lamp.com node2
# Node1:
sed -i &＃39;s&＃64;\(HOSTNAME&＃61;\).*&＃64;\1node1.lamp.com&＃64;g&＃39; /etc/sysconfig/network
hostname node1.lamp.com
# Node2&＃xff1a;
sed -i &＃39;s&＃64;\(HOSTNAME&＃61;\).*&＃64;\1node2.lamp.com&＃64;g&＃39; /etc/sysconfig/network
hostname node2.lamp.com
各节点时间保持一致&＃xff1a;
# 添加计划任务&＃xff0c;与NTP时间服务器保持一致即可
# Node1&＃43;Node2&＃xff1a;
crontab -e
# Dscrip: Time Sync
# CTime: 2014.04.19
*/3 * * * * /usr/sbin/ntpdate 172.16.0.1 &>/dev/null
各节点间可基于密钥进行SSH通信&＃xff0c;而无需密码&＃xff1a;
# Node1:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root&＃64;node2
# Node2&＃xff1a;
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root&＃64;node1
部署方案一&＃xff1a;heartbeat v2
安装配置
yum -y install perl-TimeDate net-snmp-libs libnet PyXML
rpm -ivh heartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpm heartbeat-stonith-2.1.4-12.el6.x86_64.rpm heartbeat-gui-2.1.4-12.el6.x86_64.rpm
# heartbeat&＃xff1a;主程序包
# heartbeat-pils&＃xff1a;提供通用插件和接口加载库
# heartbeat-stonish&＃xff1a;提供了屏蔽(又称"爆头")其他节点的接口
# heartbeat-gui&＃xff1a;为管理集群提供的gui配置接口
cd /usr/share/doc/heartbeat-2.1.4
cp ha.cf haresources authkeys /etc/ha.d # 拷贝配置文件
vi /etc/ha.d/ha.cf # 配置主配置文件&＃xff0c;添加节点信息
node node1.lamp.com
node node2.lamp.com
# 其它可参考配置&＃xff1a;
# logfile /var/log/ha-log # 日志文件&＃xff0c;可查看集群启动信息
# keepalive 2 # 心跳信息发送频率&＃xff0c;此为2s一次
# deadtime 30 # 若此时间内未收到心跳信息&＃xff0c;则判定节点死亡&＃xff0c;此为30s
# initdead 120 # 主机刚启动时&＃xff0c;可允许心跳信息的接收时间&＃xff0c;至少需要是是deadtime的2倍
# udpport 694 # 监听端口&＃xff0c;默认就是694
# bcast eth0 # 通过eth0接口广播心跳信息
# auto_failback on # 打开故障转回功能&＃xff0c;即当故障主节点恢复后&＃xff0c;资源仍将转移回主节点的过程
# ping 172.16.0.1 # 指定一个虚拟集群节点&＃xff0c;用于生成quorum
# respawn hacluster /usr/lib/heartbeat/ipfail # 在heartbeat启动时随之启动的程序&＃xff0c;如ipfail&＃xff0c;可用于访问控制
# compression bz2 # 定义数据压缩格式
vi /etc/ha.d/authkeys # 配置使用sha1加密算法
auth 2
#1 crc
2 sha1 e3266a6f709a5c3e # 密码可通过命令“openssl rand -hex 8”生成
#3 md5 Hello!
chmod 600 /etc/ha.d/authkeys # 修改密钥文件权限
vi /etc/ha.d/haresources # 添加如下信息即可
node1 172.16.25.55 httpd # 表示在集群的主节点(尽量是node1)上先配置服务IP(就是一个虚拟IP)&＃xff0c;然后启动httpd服务
/usr/share/heartbeat/ha_propagate # 同步配置文件至其他节点
service heartbeat start # 启动hearbeat服务
ss -antupl |grep 694 # 验证启动进程和端口
在heartbeat中HA集群的配置方式
主要有3种&＃xff1a;haresources文件&＃xff0c;crmsh接口和gui图形配置接口
haresources文件&＃xff1a;
格式&＃xff1a;node-name resource1 resource2 ... resourceN
# 资源格式&＃xff1a;
# 服务IP资源格式&＃xff1a;IPaddr::IP地址/子网掩码/配置的网卡/广播地址&＃xff0c;如IPaddr::135.9.8.7/24/eth0/135.9.8.210
# LSB资源格式&＃xff1a;脚本名称&＃xff0c;如httpd
# 共享文件系统资源格式&＃xff1a;Filesystem::挂载源::本地挂载目录::挂载文件系统类型&＃xff0c;如Filesystem::172.16.251.163:/www/phpwind.com::/www/phpwind.com::nfs
实例&＃xff1a;
# 配置虚拟IP&＃xff0c;NFS目录挂载及httpd服务&＃xff0c;并按书写顺序在node1上依次启动
node1 172.16.25.51 Filesystem::172.16.251.163:/www/phpwind.com::/www/phpwind.com::nfs httpd
# 缺点&＃xff1a;利用文件的进行进行资源的管理配置过于简陋&＃xff0c;故不推荐使用
crmsh接口配置&＃xff1a;
vi /etc/ha.d/ha.cf
crm on # 添加此行&＃xff0c;即打开crm配置接口
service heartbeat restart # 重启heartbeat服务
ps -ef | grep mgmtd; ss -antupl |grep 5560 # 检查mgmtd进程存在&＃xff0c;且监听在5560端口上
crm_mon # 查看集群状态信息
crm_sh # 进入集群命令行配置界面
passwd hacluster # 为heartbeat生成的hacluster用户添加密码
hb_gui & # 进入GUI图形配置界面&＃xff0c;对集群进行相关配置&＃xff0c;需要填写上述密码哦
注&＃xff1a;
crm_sh和hb_gui两种配置方式选其一即可&＃xff1b;
crm_sh的使用可在内部使用help获得&＃xff0c;但帮助信息很有限&＃xff0c;不建议使用&＃xff1b;
hb_gui的方式目前测试只在Xshell终端下可用&＃xff0c;iTerm就不可以&＃xff0c;具体配置自行摸索即可&＃xff1b;
下一篇&＃xff1a;corosync&＃43;pacemaker实现高可用(HA)集群(二)
京公网安备 11010802041100号