负载均衡LVS集群之DR模式搭建（DR+ldirectord+Keepalived）

作者：我要知道521无敌 | 来源：互联网 | 2023-06-30 13:03

lvs概述：1.LVS简介LVS的是LinuxVirtualServer的简写，翻译为Linux虚拟服务器，即一个虚拟的服务器集群系统

lvs概述&＃xff1a;

1.LVS简介

LVS的是Linux Virtual Server的简写&＃xff0c;翻译为Linux虚拟服务器&＃xff0c;即一个虚拟的服务器集群系统&＃xff0c; 是由我国章文嵩博士在1998年5月所研究成立&＃xff0c;也是中国国内最早出现的自由软件项目之一。

2.LVS的组成

LVS 由2部分程序组成&＃xff0c;包括 ipvs 和 ipvsadm 1. ipvs(ip virtual server)&＃xff1a;一段代码工作在内核空间&＃xff0c;叫ipvs&＃xff0c;是真正生效实现调度的代码。 2. ipvsadm&＃xff1a;另外一段是工作在用户空间&＃xff0c;叫ipvsadm&＃xff0c;负责为ipvs内核框架编写规则&＃xff0c;定义谁是集群服务&＃xff0c;而谁是后端真实的服务器(Real Server)

3.LVS相关的几种IP

VIP :&＃xff08;virtual IP&＃xff09; LVS服务器上接收外网数据报文的网卡IP地址 DIP: &＃xff08;director IP&＃xff09; LVS服务器上发送数据报文到real server的网卡IP地址 RIP :&＃xff08;real server&＃xff09; 真实服务器上的IP&＃xff0c;即提供服务的服务器IP(常简称为RS) CIP :&＃xff08;client IP &＃xff09; 客户端的IP

LVS/DR模式&＃xff1a;

1.DR模式原理

图解&＃xff1a;
在这里插入图片描述
原理简述&＃xff1a;

每个RS&＃xff08;Real Server&＃xff09;上都有两个IP&＃xff1a;VIP和RIP&＃xff0c;但是VIP是隐藏的&＃xff0c;即不能提供解析等功能&＃xff0c; 只是用来做请求回复的源IP的&＃xff0c;Director&＃xff08;VS&＃xff09;上只需要一个网卡&＃xff0c;在该网卡上配置两个IP&＃xff1a;VIP和DIP&＃xff0c; 在VS接收到客户端的请求后&＃xff0c;VS根据负载算法选择一台RS的网卡mac作为客户端请求包中的目标mac&＃xff0c; 通过arp转交给后端RS处理&＃xff0c;后端RS再通过自己的路由网关回复给客户端client。

工作模式&＃xff1a;

client ----> vs ----> rs ----> clientvs: virtual server &＃xff08;虚拟服务器&＃xff09; rs: real server &＃xff08;真实服务器&＃xff09;

2.DR模式特点

1.各DIP&＃xff08;VS&＃xff09;必须与 RIP&＃xff08;RS&＃xff09; 在同一局域网内(即具有相同的广播域)&＃xff0c;且两个有相同的目标地址&＃xff08;vip&＃xff09;&＃xff1b; 2.RS的RIP可以使用私有地址&＃xff0c;也可以使用公网地址&＃xff0c;以方便配置&＃xff1b;不支持支持端口映射&＃xff1b; 3.RS可以使用必须为uninx操作系统&＃xff08;OS&＃xff09;&＃xff1b;且RS需要配置vip但不做响应&＃xff1b; 4.Director&＃xff08;VS&＃xff09;仅负责处理入站请求&＃xff0c;响应报文由RS( Real server) 直接发往客户端&＃xff1b; 5.Real server&＃xff08;RS&＃xff09;不能将网关指向DIP&＃xff08;DS&＃xff09;&＃xff0c;而直接使用前端网关响应请求报文&＃xff1b;

3.DR模式优缺点

优点&＃xff1a;

负载均衡器VS只负责将请求包分发给物理服务器RS&＃xff0c;而物理服务器RS将应答包直接发给用户。所以&＃xff0c;负载均衡器VS能处理很巨大的请求量。这种方式&＃xff0c;一台负载均衡能为超过100台的物理服务器服务&＃xff0c;负载均衡器不再是系统的瓶颈。使用LVS/DR方式&＃xff0c;如果你的负载均VS拥有100M的全双工网卡的话&＃xff0c;就能使得整个Virtual Server能达到1G的吞吐量&＃xff0c;甚至更高&＃xff1b;

缺点&＃xff1a;

这种方式需要所有的DIR和RIP都在同一广播域&＃xff1b;不支持异地容灾。

总结&＃xff1a;

LVS/DR是三种模式中性能最高的一种模式&＃xff0c;比LVS-NAT模式下负载的RS serve更多&＃xff0c;通常在100台左右&＃xff0c;对网络环境要求更高&＃xff0c;也是日常应用的最多的一种工作模式。

1.轮叫机制&＃xff08;轮询&＃xff09;

实验环境&＃xff1a;

vs&＃xff1a; server1 172.25.66.1 rs&＃xff1a; server2 172.25.66.2 rs&＃xff1a; server3 172.25.66.3

VIP&＃xff1a;172.25.66.100 DIP&＃xff1a;172.25.66.1 RIP&＃xff1a;172.25.66.2&＃xff0c;172.25.66.3 CIP&＃xff1a;172.25.66.254

1.配置虚拟服务器&＃xff08;vs&＃xff09;

#安装编写调度策略工具&＃xff0c;报错&＃xff0c;因为用到了高可用&＃xff0c;故需要更改yum源 [root&＃64;server1 ~]# yum install -y ipvsadm -y Loaded plugins: product-id, subscription-manager This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register. rhel-source | 3.9 kB 00:00 Setting up Install Process No package ipvsadm available. Error: Nothing to do

# 查看高可用yum源 [root&＃64;foundation66 ~]# cd /var/www/html/rhel6.5/ [root&＃64;foundation66 rhel6.5]# ls

在这里插入图片描述

#1.配置高可用yum源 [root&＃64;server1 ~]# vim /etc/yum.repos.d/rhel-source.repo ################# [LoadBalancer] name&＃61;LoadBalancer baseurl&＃61;http://172.25.66.254/rhel6.5/LoadBalancer enabled&＃61;1

在这里插入图片描述

# 清理缓存 [root&＃64;server1 ~]# yum clean all # 查看yum源详细信息&＃xff0c;检查配置高可用yum源是否配置成功 [root&＃64;server1 ~]# yum repolist

在这里插入图片描述

#2.安装编写调度策略工具 [root&＃64;server1 ~]# yum install -y ipvsadm -y

# 查看调度策略&＃xff08;开始什么也没有&＃xff09; [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn [root&＃64;server1 ~]# lsmod

在这里插入图片描述

#3.添加策略&＃xff1a;vip&＃xff08;virtual ip&＃xff1a;虚拟ip&＃xff09; -s表示算法&＃xff08;rr&＃xff1a;轮询&＃xff09; [root&＃64;server1 ~]# ipvsadm -A -t 172.25.66.100:80 -s rr # 查看调度策略 [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.66.100:http rr #4.添加策略&＃xff1a; 真实ip&＃xff08;real ip&＃xff09;&＃xff0c;-a表示添加策略&＃xff0c; -g表示直连模式&＃xff08;DR模式&＃xff09; [root&＃64;server1 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.2:80 -g [root&＃64;server1 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.3:80 -g #查看调度策略 [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.66.100:http rr-> server2:http Route 1 0 0 -> server3:http Route 1 0 0 #5.保存策略&＃xff0c;默认保存在/etc/sysconfig/ipvsadm文件中 [root&＃64;server1 ~]# /etc/init.d/ipvsadm save ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm: [ OK ]

注意&＃xff1a;1.若策略添加错误&＃xff0c;该怎么办&＃xff1f;

#1&＃xff09;.清除策略&＃xff0c;-C表示clean [root&＃64;server1 ~]# ipvsadm -C [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn #2&＃xff09;.若已经保存了策略&＃xff0c;直接打开保存策略的文件&＃xff0c;删除添加错误的策略即可 [root&＃64;server1 ~]# /etc/init.d/ipvsadm save ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm: [ OK ]

[root&＃64;server1 ~]# ifconfig

在这里插入图片描述

#6.给eth1网卡添加vip&＃xff0c; 注意&＃xff1a;vip和调度器ip要在同一局域网内 [root&＃64;server1 ~]# ip addr add 172.25.66.100/24 dev eth1 [root&＃64;server1 ~]# ip addr show eth1

在这里插入图片描述
2.配置真实后端服务器&＃xff08;rs&＃xff09;

在server2上&＃xff1a;

#1.查看是否安装了apache&＃xff0c;若是没有需要安装 [root&＃64;server2 ~]# rpm -q httpd httpd-2.2.15-29.el6_4.x86_64 #2.编写apahce默认发布文件 [root&＃64;server2 ~]# cat /var/www/html/index.html

`www.westos.org ---- server2`


#3.开启apache
[root&＃64;server2 ~]# /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server&＃39;s fully qualified domain name, using 172.25.66.2 for ServerName[  OK  ]

在server3上&＃xff1a;

#1.查看是否安装了apache&＃xff0c;若是没有需要安装 [root&＃64;server3 ~]# rpm -q httpd httpd-2.2.15-29.el6_4.x86_64 #2.编写默认发布文件 [root&＃64;server3 ~]# cat /var/www/html/index.html

`www.westos.org ---- server3`


#3.开启apache
[root&＃64;server3 ~]#  /etc/init.d/httpd start
Starting httpd: httpd: Could not reliably determine the server&＃39;s fully qualified domain name, using 172.25.66.3 for ServerName[  OK  ]

测试&＃xff1a;

#发现此时无法轮询 [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C [root&＃64;foundation66 ~]# curl 172.25.66.100 ^C

为何此时无法实现轮询呢&＃xff1f;

&＃xff08;1&＃xff09;检查虚拟服务器

#查看策略&＃xff0c;发现可以调度&＃xff0c;说明调度器没有问题&＃xff0c;问题出在后端 [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.66.100:http rr-> server2:http Route 1 0 2 -> server3:http Route 1 0 2

&＃xff08;2&＃xff09;检查后端服务器

#发现没有vip&＃xff0c;此时vs和rs无法进行通信&＃xff08;vs&＃xff1a;virtual server rs: real server&＃xff09; [root&＃64;server2 ~]# ip addr show eth1

在这里插入图片描述
解决方案&＃xff1a;给后端服务器添加vip

在server2上&＃xff1a;

#给eth1网卡添加vip&＃xff0c;32表示ip仅自己可用 [root&＃64;server2 ~]# ip addr add 172.25.66.100/32 dev eth1 [root&＃64;server2 ~]# ip addrshow eth1

在这里插入图片描述
在server3上&＃xff1a;

[root&＃64;server3 ~]# ip addr show eth0

在这里插入图片描述

#给eth1网卡添加vip&＃xff0c;32表示ip仅自己可用 [root&＃64;server3 ~]# ip addr add 172.25.66.100/32 dev eth1 [root&＃64;server3 ~]# ip addr show eth1

在这里插入图片描述
测试&＃xff1a;

发现此时便可以轮询

[root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server3`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

查看策略&＃xff0c;发现确实它通过vs调度器的调度算法实现了轮询

#查看策略 [root&＃64;server1 ~]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.66.100:http rr-> server2:http Route 1 0 4 -> server3:http Route 1 0 4

但发现当客户访问vip时&＃xff0c;它会随机调转到调度器VS&＃xff08;server1&＃xff09;或是后端服务器RS&＃xff08;server2 / server3&＃xff09;&＃xff0c;显然这样很不合理

#1&＃xff09;.查看mac地址&＃xff0c;发现访问的是调度器&＃xff1a;server1&＃xff0c;所以可以实现轮询 [root&＃64;foundation66 ~]# arp -an | grep 100 ? (172.25.66.100) at 52:54:00:70:34:55 [ether] on br0

在这里插入图片描述

[root&＃64;server1 ~]# ip addr show eth1

在这里插入图片描述

##2&＃xff09;.清理缓存 [root&＃64;foundation66 ~]# arp -d 172.25.66.100 [root&＃64;foundation66 ~]# arp -an | grep 100

#发现此时无法实现轮询 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

#3&＃xff09;.查看mac地址&＃xff0c;发现此时访问的是server2&＃xff08;后端服务器&＃xff09;&＃xff0c;所以无法实现轮询 [root&＃64;foundation66 ~]# arp -an | grep 100 ? (172.25.66.100) at 52:54:00:e0:50:76 [ether] on br0

在这里插入图片描述

[root&＃64;server2 ~]# ip addr show eth1

在这里插入图片描述
当访问vip&＃xff0c;调度的是后端服务器VS时&＃xff0c;由于不是调度器&＃xff0c;便没有办法根据调度算法实现轮询

## 多清理机次缓存&＃xff0c;发现访问vip时&＃xff0c;它是随机转到调度器或是后端服务器上&＃xff0c;这样显然是不合理的 [root&＃64;foundation66 ~]# arp -d 172.25.66.100 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# arp -d 172.25.66.100
[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

在这里插入图片描述
那么怎样才能实现访问vip时&＃xff0c;只能调转到调度器上呢&＃xff1f;

解决方案&＃xff1a;给真实后端服务器添加arp火墙策略

在server2上&＃xff1a;

#1.安装arp火墙管理工具 [root&＃64;server2 ~]# yum install -y arptables_jf

#2.添加火墙策略 #1&＃xff09;.当数据流进来时&＃xff0c;直接拒绝vip&＃xff0c;DROP表示丢弃 [root&＃64;server2 ~]# arptables -A IN -d 172.25.66.100 -j DROP # 查看策略 [root&＃64;server2 ~]# arptables -L

在这里插入图片描述

#2).当数据流出去时&＃xff0c;以本机ip返回 [root&＃64;server2 ~]# arptables -A OUT -s 172.25.66.100 -j mangle --mangle-ip-s 172.25.66.2 #查看策略 [root&＃64;server2 ~]# arptables -L

在这里插入图片描述

#3.保存策略 [root&＃64;server2 ~]# /etc/init.d/arptables_jf save Saving current rules to /etc/sysconfig/arptables: [ OK ]

在server3上&＃xff1a;

#1.安装arp工具 [root&＃64;server3 ~]# yum install -y arptables_jf #2.添加策略 [root&＃64;server3 ~]# arptables -A IN -d 172.25.66.100 -j DROP [root&＃64;server3 ~]# arptables -A OUT -s 172.25.66.100 -j mangle --mangle-ip-s 172.25.66.3 #查看策略 [root&＃64;server3 ~]# arptables -L #3.保存策略 [root&＃64;server3 ~]# /etc/init.d/arptables_jf save Saving current rules to /etc/sysconfig/arptables: [ OK ]

注意&＃xff1a;如果策略添加错误&＃xff0c;只需刷新策略即可

# 刷新策略 [root&＃64;server2 ~]# arptables -F [root&＃64;server3 ~]# arptables -L

在这里插入图片描述
测试&＃xff1a;

此时便实现了稳定的轮询&＃xff08;当客户访问vip时&＃xff0c;每次访问的都是调度器&＃xff0c;无论清理多少次缓存&＃xff0c;这样便实现了一直轮询&＃xff09;

#注意&＃xff1a;在清理缓存前必须是访问的是调度器才可以 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server3`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# arp -d 172.25.66.100
[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# arp -d 172.25.66.100
[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

2.健康检查&＃xff08;DR &＃43; ldirectord&＃xff09;

如果某个后端服务器&＃xff08;RS&＃xff09;出现故障&＃xff0c;我们该怎么办呢&＃xff1f;

#1.模拟后台服务器&＃xff1a;server3出现故障&＃xff08;关闭apache服务&＃xff09; [root&＃64;server3 ~]# /etc/init.d/httpd stop Stopping httpd: [ OK ]

若不设定健康检查&＃xff0c;此时某个后端服务器挂了&＃xff0c;客户在访问时便会出现一会儿报错&＃xff0c;一会儿访问正常的现象&＃xff0c;这样显然不合理

#2.此时客户在访问vip时&＃xff0c;发现时而可以访问&＃xff0c;时而不能访问&＃xff0c;这样很不合理 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
curl: (7) Failed connect to 172.25.66.100:80; Connection refused
[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
curl: (7) Failed connect to 172.25.66.100:80; Connection refused

解决方案&＃xff1a;设定健康检查

安装包&＃xff1a;

ldirectord-3.9.5-3.1.x86_64.rpm

实验前提&＃xff1a;

#当访问vip时&＃xff0c;已经实现了稳定的轮询 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

在这里插入图片描述

#1.下载安装包 [root&＃64;server1 mnt]# ls ldirectord-3.9.5-3.1.x86_64.rpm #安装健康检查工具&＃xff0c;报错&＃xff0c;有依赖性 [root&＃64;server1 mnt]# yum install -y ldirectord-3.9.5-3.1.x86_64.rpm

在这里插入图片描述

#查看高可用yum源&＃xff0c;/var/www/html/rhel6.5/为6.5镜像的挂载目录 [root&＃64;foundation66 ~]# cd /var/www/html/rhel6.5/ [root&＃64;foundation66 rhel6.5]# ls

在这里插入图片描述

#2.配置高可用yum源 [root&＃64;server1 mnt]# vim /etc/yum.repos.d/rhel-source.repo ################### [HighAvailability] name&＃61;HighAvailability baseurl&＃61;http://172.25.66.254/rhel6.5/HighAvailability enabled&＃61;1

在这里插入图片描述

#清理缓存 [root&＃64;server1 mnt]# yum clean all #查看yum源的详细信息 [root&＃64;server1 mnt]# yum repolist

在这里插入图片描述

#3.安装健康检查工具 [root&＃64;server1 mnt]# yum install -y ldirectord-3.9.5-3.1.x86_64.rpm #列出包含ldirec字段的软件的信息&＃xff1b;q代表query&＃xff0c;a代表all [root&＃64;server1 mnt]# rpm -qa | grep ldirec ldirectord-3.9.5-3.1.x86_64 #查看主配置文件 [root&＃64;server1 mnt]# rpm -qc ldirectord /etc/logrotate.d/ldirectord #查看所有配置文件&＃xff08;包括帮助文档&＃xff09; [root&＃64;server1 mnt]# rpm -qpl ldirectord-3.9.5-3.1.x86_64.rpm

在这里插入图片描述

[root&＃64;server1 mnt]# cd /etc/ha.d [root&＃64;server1 ha.d]# ls resource.d shellfuncs [root&＃64;server1 ha.d]# pwd /etc/ha.d #4.拷贝文件 [root&＃64;server1 ha.d]# cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf . [root&＃64;server1 ha.d]# ls ldirectord.cf resource.d shellfuncs #5.设定健康检查 [root&＃64;server1 ha.d]# vim ldirectord.cf ###################### virtual&＃61;172.25.66.100:80 #vip&＃xff08;虚拟ip&＃xff09;real&＃61;172.25.66.2:80 gate #rip&＃xff08;真实ip&＃xff09;real&＃61;172.25.66.3:80 gatefallback&＃61;127.0.0.1:80 gate #若是后端服务器都出现了故障&＃xff0c;就报错#receive&＃61;"Test Page"#virtualhost&＃61;www.x.y.z

在这里插入图片描述

#6.重启ldirectord服务 [root&＃64;server1 ha.d]# /etc/init.d/ldirectord start Starting ldirectord... success

测试&＃xff1a;

#1.模拟后端服务器&＃xff1a;server3出现故障&＃xff08;关闭apache服务&＃xff09; [root&＃64;server3 ~]# /etc/init.d/httpd stop Stopping httpd: [ OK ]

#2.查看策略&＃xff0c;发现调度器自动将坏掉的后端服务器&＃xff1a;server3移除了 [root&＃64;server1 ha.d]# ipvsadm -l IP Virtual Server version 1.2.1 (size&＃61;4096) Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.25.66.100:http rr-> server2:http Route 1 0 6

在这里插入图片描述

#3.此时客户端访问时&＃xff0c;只能访问server2&＃xff0c;也就解决了客户在访问vip时&＃xff0c;时而成功时而失败的窘况 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

那若是两个后端服务器&＃xff08;RS&＃xff09;都出现故障了&＃xff0c;又该再怎么解决呢?

#模拟后端服务器&＃xff1a;server2也出现故障 [root&＃64;server2 ~]# /etc/init.d/httpd stop Stopping httpd:

#此时客户便无法访问&＃xff0c;但没有给客户返回任何信息&＃xff0c;这样显然不友好 [root&＃64;foundation66 ~]# curl 172.25.66.100 curl: (7) Failed connect to 172.25.66.100:80; Connection refused [root&＃64;foundation66 ~]# curl 172.25.66.100 curl: (7) Failed connect to 172.25.66.100:80; Connection refused

解决方案&＃xff1a;当两个后端服务器都出现故障时&＃xff0c;代理服务器&＃xff08;vs&＃xff09;自动给客户一个错误信息反馈

#1.查看是否安装了apache&＃xff0c;若没有需要自己安装 [root&＃64;server1 ha.d]# rpm -q httpd httpd-2.2.15-29.el6_4.x86_64 #2.删除默认发布目录中的所有文件 [root&＃64;server1 ha.d]# cd /var/www/html/ [root&＃64;server1 html]# rm -rf * [root&＃64;server1 html]# ls #3.编写默认发布文件 [root&＃64;server1 html]# vim index.html ####################

`网站正在维护.....`

在这里插入图片描述

# 4.将pache的端口改为默认端口&＃xff1a;80 [root&＃64;server1 html]# vim /etc/httpd/conf/httpd.conf #################### 136 Listen 80

在这里插入图片描述

#查看apache的端口是否为默认端口&＃xff1a;80 [root&＃64;server1 html]# netstat -antlup

在这里插入图片描述
测试&＃xff1a;

#此时客户再访问vip时&＃xff0c;便会友好的给客户返回一个报错信息 [root&＃64;foundation66 ~]# curl 172.25.66.100

`网站正在维护.....`


[root&＃64;foundation66 ~]# curl 172.25.66.100
网站正在维护.....

[root&＃64;foundation66 ~]# curl 172.25.66.100
网站正在维护.....

总结&＃xff1a;

当后台服务器中有一台挂掉&＃xff0c;这台服务器就会自动从调度器上删除&＃xff0c;所以当访问挂调的这台服务器时&＃xff0c;另一台服务器就会自动接替工作&＃xff0c;此时访问便不会出错。当两台服务器都挂了&＃xff0c;本机自己便会接替工作&＃xff0c;但由于它是一台服务器&＃xff0c;在访问数据过大时&＃xff0c;不能独自承担&＃xff0c;所以发布站点正在维护&＃xff0c;防止服务器崩溃。

3.高可用集群&＃xff08;DR&＃43;Keepalived&＃xff09;

那如果调度器出现故障了&＃xff0c;该怎么办呢&＃xff1f;

一旦调度器损坏&＃xff0c;所有的机制都将被破坏&＃xff0c;为了防止这种情况的发生&＃xff0c;需要进行添加备用调度器

解决方案&＃xff1a;配置主备调度器&＃xff0c;即再添加一个调度器server4 &＃xff0c;再用Keepalived实现lvs的高可用

Keepalived简介&＃xff1a;

Keepalived是Linux下一个轻量级别的高可用解决方案。高可用&＃xff1a;广义来讲&＃xff0c;是指整个系统的高可用行&＃xff1b;狭义的来讲就是主机的冗余和接管。

Keepalived起初是为LVS设计的&＃xff0c;专门用来监控集群系统中各个服务节点的状态&＃xff0c;它根据TCP/IP参考模型的第三、第四层、第五层交换机制检测每个服务节点的状态&＃xff0c; 如果某个服务器节点出现异常&＃xff0c;或者工作出现故障&＃xff0c;Keepalived将检测到&＃xff0c;并将出现的故障的服务器节点从集群系统中剔除&＃xff0c;当提供该服务器结点恢复并且正常提供服务后&＃xff0c; keepalived又会自动将TCP服务的节点加入到集群中。这些工作全部是自动完成的&＃xff0c;不需要人工干涉&＃xff0c;需要人工完成的只是修复出现故障的服务节点。后来Keepalived又加入了VRRP的功能&＃xff0c;VRRP&＃xff08;VritrualRouterRedundancyProtocol,虚拟路由冗余协议)出现的目的是解决静态路由出现的单点故障问题&＃xff0c; 通过VRRP可以实现网络不间断稳定运行&＃xff0c;因此Keepalvied一方面具有服务器状态检测和故障隔离功能&＃xff0c;另外一方面也有HAcluster功能。健康检查和失败切换是keepalived的两大核心功能。所谓的健康检查&＃xff0c;就是采用tcp三次握手&＃xff0c;icmp请求&＃xff0c;http请求&＃xff0c;udp echo请求等方式对负载均衡器后面的实际的服务器(通常是承载真实业务的服务器)进行保活&＃xff1b;而失败切换主要是应用于配置了主备模式的负载均衡器&＃xff0c; 利用VRRP维持主备负载均衡器的心跳&＃xff0c;当主负载均衡器出现问题时&＃xff0c;由备负载均衡器承载对应的业务&＃xff0c;从而在最大限度上减少流量损失&＃xff0c;并提供服务的稳定性。

Keepalvied的工作原理&＃xff1a;

Keepalived工作在TCP/IP参考模型的三层、四层、五层&＃xff1a;网络层&＃xff08;3&＃xff09;&＃xff1a; Keepalived通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能)&＃xff0c; 如果某个节点没有返回响应数据包&＃xff0c;那么认为该节点发生了故障&＃xff0c;Keepalived将报告这个节点失效&＃xff0c;并从服务器集群中剔除故障节点。传输层&＃xff08;4&＃xff09;&＃xff1a; Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常&＃xff0c;比如对于常见的WEB服务器80端口。或者SSH服务22端口&＃xff0c;Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回&＃xff0c;就认为这些端口发生异常&＃xff0c; 然后强制将这些端口所对应的节点从服务器集群中剔除掉。应用层&＃xff08;5&＃xff09;&＃xff1a; Keepalived的运行方式也更加全面化和复杂化&＃xff0c;用户可以通过自定义Keepalived工作方式&＃xff0c; 例如&＃xff1a;可以通过编写程序或者脚本来运行Keepalived&＃xff0c;而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常&＃xff0c; 如果Keepalived的检测结果和用户设定的不一致时&＃xff0c;Keepalived将把对应的服务器从服务器集群中剔除。

安装包&＃xff1a;

keepalived-2.0.6.tar.gz

实验环境&＃xff1a;

server1 主调度器 172.25.66.1 server4 备用调度器 172.25.66.4server2 后端服务器 172.25.66.2 server3 后端服务器 172.25.66.3

1.配置主调度器

#1.下载安装包 [root&＃64;server1 html]# cd /mnt [root&＃64;server1 mnt]# ls keepalived-2.0.6.tar.gz ldirectord-3.9.5-3.1.x86_64.rpm #2.解压 [root&＃64;server1 mnt]# tar zxf keepalived-2.0.6.tar.gz [root&＃64;server1 mnt]# ls keepalived-2.0.6 keepalived-2.0.6.tar.gz ldirectord-3.9.5-3.1.x86_64.rpm [root&＃64;server1 mnt]# cd keepalived-2.0.6 [root&＃64;server1 keepalived-2.0.6]# pwd /mnt/keepalived-2.0.6 #3.源码编译三部曲&＃xff1a;报错&＃xff0c;有依赖性 [root&＃64;server1 keepalived-2.0.6]# ./configure --prefix&＃61;/usr/local/keepalived --with-init&＃61;SYSV

#解决依赖性&＃xff1a;安装 openssl-devel [root&＃64;server1 keepalived-2.0.6]# yum install -y openssl-devel

#再次编译,没有error即可 [root&＃64;server1 keepalived-2.0.6]# ./configure --prefix&＃61;/usr/local/keepalived --with-init&＃61;SYSV

注意&＃xff1a;出现 no acceptable C compiler found in $PATH报错&＃xff0c;如何解决&＃xff1f;

[root&＃64;server1 keepalived-2.0.6]# ./configure --prefix&＃61;/usr/local/keepalived --with-init&＃61;SYSV ......... configure: error: in &＃96;/mnt/keepalived-2.0.6&＃39;: configure: error: no acceptable C compiler found in $PATH See &＃96;config.log&＃39; for more details

在这里插入图片描述
安装gcc即可

[root&＃64;server1 keepalived-2.0.6]# yum install -y gcc

[root&＃64;server1 keepalived-2.0.6]# ./configure --prefix&＃61;/usr/local/keepalived --with-init&＃61;SYSV

在这里插入图片描述

[root&＃64;server1 keepalived-2.0.6]# make && make install

[root&＃64;server1 keepalived-2.0.6]# cd /usr/local/keepalived/etc/rc.d/init.d [root&＃64;server1 init.d]# ls keepalived #4.给脚本一个可执行权限 [root&＃64;server1 init.d]# chmod &＃43;x keepalived [root&＃64;server1 init.d]# ll total 4 -rwxr-xr-x 1 root root 1308 Jan 25 16:05 keepalived

#5.制作软链接 [root&＃64;server1 init.d]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ [root&＃64;server1 init.d]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ [root&＃64;server1 init.d]# ln -s /usr/local/keepalived/etc/keepalived /etc/ [root&＃64;server1 init.d]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

#6.关闭健康检查服务&＃xff0c;因为高可用自带健康检查 [root&＃64;server1 init.d]# /etc/init.d/ldirectord stop Stopping ldirectord... success #开机不启动 [root&＃64;server1 init.d]# chkconfig ldirectord off

#查看vip [root&＃64;server1 init.d]# ip addr show eth1

在这里插入图片描述

#7.移除vip&＃xff0c;因为keepalived会自动添加vip&＃xff0c;实现vip的漂移 [root&＃64;server1 init.d]# ip addr del 172.25.66.100/24 dev eth1 RTNETLINK answers: Cannot assign requested address [root&＃64;server1 init.d]# ip addr show eth1

#8.编写配置文件 [root&＃64;server1 init.d]# cd /etc/keepalived/ [root&＃64;server1 keepalived]# ls keepalived.conf samples [root&＃64;server1 keepalived]# vim keepalived.conf ########################## ! Configuration File for keepalivedglobal_defs {notification_email { #邮件报警root&＃64;localhost}notification_email_from keepalived&＃64;localhost #何种身份报警smtp_server 127.0.0.1 #本机smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addr#vrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0 }vrrp_instance VI_1 {state MASTER #指定该节点为主节点interface eth1 #绑定虚拟IP的网络接口,根据实际设置接口&＃xff08;我这里只有eth1接口&＃xff01;&＃xff09;virtual_router_id 51 #VRRP组名&＃xff0c;两个节点设置一样&＃xff0c;以指明各个节点同属一VRRP组priority 100 #优先级&＃xff0c;数值在1~254&＃xff0c;注意从节点必须比主节点的优先级别低advert_int 1 #组播信息发送间隔&＃xff0c;两个节点需一致authentication { #设置验证信息&＃xff0c;两个节点需一致 auth_type PASSauth_pass 1111}virtual_ipaddress { #指定虚拟IP&＃xff0c;两个节点需设置一样172.25.66.100 #vip} } virtual_server 172.25.66.100 80 { #虚拟IP服务delay_loop 6 #设定检查间隔lb_algo rr #指定LVS算法lb_kind DR #指定LVS模式#persistence_timeout 50 #持久连接设置&＃xff0c;会话保持时间 protocol TCP #转发协议real_server 172.25.66.2 80 { #后端实际TCP服务配置&＃xff08;rip&＃xff09;TCP_CHECK { #健康检查weight 1 #权重connect_timeout 3 #延迟3秒retry 3 #尝试3次delay_before_retry 3 #若还是不成功&＃xff0c;则报错 }real_server 172.25.66.3 80 {weight 1TCP_CHECK {connect_timeout 3retry 3delay_before_retry 3}}} }

在这里插入图片描述

#9.开启keepalived服务 [root&＃64;server1 keepalived]# /etc/init.d/keepalived start Starting keepalived: [ OK ]

#发现keepalived会自动添加vip [root&＃64;server1 ~]# ip a

在这里插入图片描述

#10.将编译好的脚本文件发送给辅调度器 [root&＃64;server1 keepalived]# scp -r /usr/local/keepalived/ root&＃64;172.25.66.4:/usr/local

2.配置备用调度器

#配置负载均衡yum源 [root&＃64;server4 ~]# vim /etc/yum.repos.d/rhel-source.repo ################# [LoadBalancer] name&＃61;LoadBalancer baseurl&＃61;http://172.25.66.254/rhel6.5/LoadBalancer enabled&＃61;1

[root&＃64;server4 ~]# yum clean all [root&＃64;server4 ~]# yum repolist

在这里插入图片描述

[root&＃64;server4 ~]# yum install -y ipvsadm -y [root&＃64;server4 ~]# ipvsadm -l [root&＃64;server4 ~]# ipvsadm -A -t 172.25.66.100:80 -s rr [root&＃64;server4 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.2:80 -g [root&＃64;server4 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.3:80 -g [root&＃64;server4 ~]# ipvsadm -l

在这里插入图片描述

#1.查看年脚本是否有可执行权限&＃xff0c;若是没有需要自己添加 [root&＃64;server4 ~]# cd /usr/local/keepalived/etc/rc.d/init.d [root&＃64;server4 init.d]# ll total 4 -rwxr-xr-x 1 root root 1308 Jan 25 16:40 keepalived

#2.制作软链接 [root&＃64;server4 init.d]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ [root&＃64;server4 init.d]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ [root&＃64;server4 init.d]# ln -s /usr/local/keepalived/etc/keepalived /etc/ [root&＃64;server4 init.d]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

#3.更改配置文件 [root&＃64;server4 init.d]# cd /etc/keepalived/ [root&＃64;server4 keepalived]# ls keepalived.conf samples [root&＃64;server4 keepalived]# vim keepalived.conf ########################## 18 state BACKUP #备用调度器 21 priority 50 #更改优先级&＃xff0c;只需比主调度器低即可

在这里插入图片描述

#4.开启keepalived服务 [root&＃64;server4 keepalived]# /etc/init.d/keepalived start Starting keepalived: [ OK ]

测试&＃xff1a;

1.检测能否自动添加vip&＃xff0c;实现调度

#keepalived会自动添加vip [root&＃64;server1 ~]# ip a

在这里插入图片描述

[root&＃64;server4 ~]# ip a

在这里插入图片描述

#实现负载均衡 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server2`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server2

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

2.模拟某个后端服务器出现故障&＃xff0c;检测高可用是否能实现健康检查

#模拟server3出现故障 [root&＃64;server3 ~]# cat /var/www/html/index.html

`www.westos.org ---- server3`

#发现有报错&＃xff0c;以为没有实现健康检查&＃xff1f;不不不&＃xff0c;这是因为有延迟 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server3`


[root&＃64;foundation66 ~]# curl 172.25.66.100
curl: (7) Failed connect to 172.25.66.100:80; Connection refused
[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
curl: (7) Failed connect to 172.25.66.100:80; Connection refused

#等待一会儿发现&＃xff0c;没有报错。即说明keepalived自带健康检查 [root&＃64;foundation66 ~]# curl 172.25.66.100

`www.westos.org ---- server3`


[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

[root&＃64;foundation66 ~]# curl 172.25.66.100
www.westos.org ---- server3

3.模拟主调度器出现故障&＃xff0c;检测高可用是否能实现vip的漂移

[root&＃64;server2 ~]# /etc/init.d/httpd start Starting httpd: httpd: Could not reliably determine the server&＃39;s fully qualified domain name, using 172.25.66.2 for ServerName[ OK ]

#模拟主调度器出现故障 [root&＃64;server1 ~]# /etc/init.d/keepalived stop Stopping keepalived: [ OK ]

#发现vip发生了漂移 [root&＃64;server1 ~]# ip a

在这里插入图片描述