LVS+Keepalived+Nginx高可用负载均衡

介绍&＃xff1a;

1、lvs简介

LVS主要用来做四层负载均衡。

2、keepalived简介

Keepalived是分布式部署系统解决系统高可用的软件&＃xff0c;结合LVS&＃xff08;Linux Virtual Server&＃xff09;使用&＃xff0c;其功能类似于heartbeat&＃xff0c;解决单机宕机的问题。
      Keepalived是以VRRP协议为实现基础的&＃xff0c;VRRP全称Virtual Router Redundancy Protocol&＃xff0c;即虚拟路由冗余协议。通过VRRP协议结合LVS&＃xff0c;对组群服务器监控情况&＃xff0c;若master出现宕机情况&＃xff0c;则将VIP漂移到backup机上。实现了分布式系统高可用。可以理解为&＃xff1a;keepalived是LVS的管理软件&＃xff0c;根据监控情况&＃xff0c;将宕机服务器从ipvsadm移除掉。
      Keepalived的诞生最初是为LVS ipvs&＃xff08;director&＃xff09;提供高可用性的&＃xff0c;后来发展一个多功能、通用的轻量级高可用组件&＃xff0c;可以为ipvs、nginx、haproxy等诸多服务提供高可用功能&＃xff0c;主要应用在负载均衡调度器上&＃xff0c;同时也可以检查后端各realserver的健康状态。

3、nginx简介

 Nginx&＃xff08;发音同engine x&＃xff09;是一个网页服务器&＃xff0c;它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的协议链接&＃xff0c;以及一个负载均衡器和一个HTTP缓存。

Nginx主要用来做七层负载均衡

4、负载均衡

四层负载均衡工作在OSI模型的传输层&＃xff0c;由于在传输层&＃xff0c;只有TCP/UDP协议&＃xff0c;这两种协议中除了包含源IP、目标IP以外&＃xff0c;还包含源端口号及目的端口号。四层负载均衡服务器在接受到客户端请求后&＃xff0c;以后通过修改数据包的地址信息&＃xff08;IP&＃43;端口号&＃xff09;将流量转发到应用服务器。

      七层负载均衡工作在OSI模型的应用层&＃xff0c;应用层协议较多&＃xff0c;常用http、radius、dns等。七层负载就可以基于这些协议来负载。这些应用层协议中会包含很多有意义的内容。比如同一个Web服务器的负载均衡&＃xff0c;除了根据IP加端口进行负载外&＃xff0c;还可根据七层的URL、浏览器类别、语言来决定是否要进行负载均衡。

      四层通过虚拟 IP &＃43; 端口接收请求&＃xff0c;然后再分配到真实的服务器&＃xff0c;七层通过虚拟的 URL 或主机名接收请求&＃xff0c;然后再分配到真实的服务器。所谓的四到七层负载均衡&＃xff0c;就是在对后台的服务器进行负载均衡时&＃xff0c;依据四层的信息或七层的信息来决定怎么样转发流量。

5、lvs和nginx区别

1.lvs工作在第4层&＃xff0c;负载能力强&＃xff0c;逻辑简单&＃xff0c;能对几乎所有应用进行负载&＃xff0c;包括web和数据库&＃xff1b;nginx工作在第7层&＃xff0c;适用场合远多于lvs&＃xff0c;负载能力相对较差。
2.lvs对网络稳定性依赖比较大&＃xff1b;Nginx对网络的依赖比较小&＃xff0c;理论上只要Ping得通&＃xff0c;网页访问正常就能连通。
3.Nginx可以通过服务器处理网页返回的状态码、超时等来检测服务器内部的故障&＃xff0c;并会把返回错误的请求重新发送到另一个节点&＃xff1b;目前LVS和LDirectd 也支持对服务器内部情况的监控&＃xff0c;但不能重新发送请求。
4.Nginx安装和配置比较简单&＃xff0c;测试起来比较方便&＃xff0c;它基本能把错误用日志打印出来&＃xff1b;LVS的配置、测试耗时较长。
5.每日PV1000万以下或并发请求1万以下都可以考虑用Nginx&＃xff1b;构建大型网站或者提供重要服务且机器较多时&＃xff0c;可多加考虑利用LVS。

架构拓扑

主机信息

主机名 IP 操作系统 软件
lvs01 192.168.14.211 CentOS 7.6.1810 lvs&＃43;keepalived
lvs01 192.168.14.212 CentOS 7.6.1810 lvs&＃43;keepalived
Vip 192.168.14.216
nginx01 192.168.14.213 CentOS 7.6.1810 nginx&＃xff08;web&＃xff09;
nginx02 192.168.14.214 CentOS 7.6.1810 nginx&＃xff08;web&＃xff09;


一、Lvs&＃43;keepalived

1、关闭防火墙和selinux

#192.168.14.211主机
[root&＃64;localhost ~]# hostnamectl set-hostname lvs01
[root&＃64;localhost ~]# systemctl stop firewalld
[root&＃64;localhost ~]# systemctl disable firewalld
[root&＃64;localhost ~]# sed -i &＃39;/^SELINUX&＃61;/ s/enforcing/disabled/g&＃39; /etc/selinux/config
[root&＃64;localhost ~]# setenforce 0#192.168.14.212主机
[root&＃64;localhost ~]# hostnamectl set-hostname lvs02
[root&＃64;localhost ~]# systemctl stop firewalld
[root&＃64;localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root&＃64;localhost ~]# sed -i &＃39;/^SELINUX&＃61;/ s/enforcing/disabled/g&＃39; /etc/selinux/config
[root&＃64;localhost ~]# setenforce 0

2、安装ipvs

LVS无需安装&＃xff0c;安装的是管理工具&＃xff0c;第一种叫ipvsadm&＃xff0c;第二种叫keepalive。ipvsadm是通过命令行管理&＃xff0c;而keepalive读取配置文件管理。

[root&＃64;lvs01 ~]# yum -y install ipvsadm
[root&＃64;lvs02 ~]# yum -y install ipvsadm


ipvsadm模块加载进系统

[root&＃64;lvs01 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size&＃61;4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root&＃64;lvs01 ~]# lsmod | grep ip_vs
ip_vs 145497 0
nf_conntrack 133095 1 ip_vs
libcrc32c 12644 3 xfs,ip_vs,nf_conntrack[root&＃64;lvs02 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size&＃61;4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root&＃64;lvs02 ~]# lsmod | grep ip_vs
ip_vs 145497 0
nf_conntrack 133095 1 ip_vs
libcrc32c 12644 3 xfs,ip_vs,nf_conntrack

3、安装keepalived

[root&＃64;lvs01 ~]# yum install -y keepalived
[root&＃64;lvs02 ~]# yum install -y keepalived

4、修改keepalived配置文件

[root&＃64;lvs01 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root&＃64;lvs01 ~]# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {router_id lvs01 #router_id 机器标识&＃xff0c;通常为hostname&＃xff0c;但不一定非得是hostname。故障发生时&＃xff0c;邮件通知会用到。
}
vrrp_instance VI_1 { #vrrp实例定义部分state MASTER #设置lvs的状态&＃xff0c;MASTER和BACKUP两种&＃xff0c;必须大写 interface ens32 #设置对外服务的接口virtual_router_id 100 #设置虚拟路由标示&＃xff0c;这个标示是一个数字&＃xff0c;同一个vrrp实例使用唯一标示 priority 100 #定义优先级&＃xff0c;数字越大优先级越高&＃xff0c;在一个vrrp——instance下&＃xff0c;master的优先级必须大于backupadvert_int 1 #设定master与backup负载均衡器之间同步检查的时间间隔&＃xff0c;单位是秒authentication { #设置验证类型和密码auth_type PASS #主要有PASS和AH两种auth_pass 1111 #验证密码&＃xff0c;同一个vrrp_instance下MASTER和BACKUP密码必须相同}virtual_ipaddress { #设置虚拟ip地址&＃xff0c;可以设置多个&＃xff0c;每行一个192.168.14.216}
}
virtual_server 192.168.14.216 80 { #设置虚拟服务器&＃xff0c;需要指定虚拟ip和服务端口delay_loop 6 #健康检查时间间隔lb_algo wrr #负载均衡调度算法lb_kind DR #负载均衡转发规则persistence_timeout 50 #设置会话保持时间&＃xff0c;对动态网页非常有用protocol TCP #指定转发协议类型&＃xff0c;有TCP和UDP两种real_server 192.168.14.213 80 { #配置服务器节点1&＃xff0c;需要指定real server的真实IP地址和端口weight 1 #设置权重&＃xff0c;数字越大权重越高TCP_CHECK { #realserver的状态监测设置部分单位秒connect_timeout 10 #连接超时为10秒retry 3 #重连次数delay_before_retry 3 #重试间隔connect_port 80 #连接端口为80&＃xff0c;要和上面的保持一致}}real_server 192.168.14.214 80 { #配置服务器节点2&＃xff0c;需要指定real server的真实IP地址和端口weight 1 #设置权重&＃xff0c;数字越大权重越高TCP_CHECK { #realserver的状态监测设置部分单位秒connect_timeout 10 #连接超时为10秒retry 3 #重连次数delay_before_retry 3 #重试间隔connect_port 80 #连接端口为80&＃xff0c;要和上面的保持一致}}
}

[root&＃64;lvs02 ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root&＃64;lvs02 ~]# vi /etc/keepalived/keepalived.conf
[root&＃64;lvs02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {router_id lvs02 #标识
}
vrrp_instance VI_1 {state BACKUP #lvs标识&＃xff0c;BACKUPinterface ens32virtual_router_id 100priority 99 #优先级advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.14.216}
}
virtual_server 192.168.14.216 80 {delay_loop 6lb_algo wrrlb_kind DRpersistence_timeout 50protocol TCPreal_server 192.168.14.213 80 {weight 1TCP_CHECK {connect_timeout 10retry 3delay_before_retry 3connect_port 80 }}real_server 192.168.14.214 80 {weight 1TCP_CHECK {connect_timeout 10retry 3delay_before_retry 3connect_port 80}}
}

5、启动服务

[root&＃64;lvs01 ~]# systemctl start keepalived
[root&＃64;lvs02 ~]# systemctl start keepalived

6、查看vip&＃xff0c;lvs01上有vip192.168.14.216&＃xff0c;lvs02是备用所以没有

二、nginx

1、关闭防火墙和selinux

[root&＃64;localhost ~]# hostnamectl set-hostname nginx01
[root&＃64;localhost ~]# systemctl stop firewalld
[root&＃64;localhost ~]# systemctl disable firewalld
[root&＃64;localhost ~]# sed -i &＃39;/^SELINUX&＃61;/ s/enforcing/disabled/g&＃39; /etc/selinux/config
[root&＃64;localhost ~]# setenforce 0[root&＃64;localhost ~]# hostnamectl set-hostname nginx02
[root&＃64;localhost ~]# systemctl stop firewalld
[root&＃64;localhost ~]# systemctl disable firewalld
[root&＃64;localhost ~]# sed -i &＃39;/^SELINUX&＃61;/ s/enforcing/disabled/g&＃39; /etc/selinux/config
[root&＃64;localhost ~]# setenforce 0

1、安装

#添加yum源
cat <> /etc/yum.repos.d/nginx.repo
[aliyun]
name&＃61;aliyun epel
baseurl&＃61;http://mirrors.aliyun.com/epel/7Server/x86_64/
gpgcheck&＃61;0
EOF#net-tools是ifconfig使用需要
[root&＃64;nginx01 ~]# yum install -y nginx net-tools
[root&＃64;nginx02 ~]# yum install -y nginx net-tools

2、配置realserver.sh

打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能并设置回环ip&＃xff0c;nginx01和nginx02配置如下

[root&＃64;nginx01 ~]# vi /etc/rc.d/init.d/realserver.sh
#!/bin/bashSNS_VIP&＃61;192.168.14.216/etc/rc.d/init.d/functionscase "$1" instart)ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP/sbin/route add -host $SNS_VIP dev lo:0echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announcesysctl -p >/dev/null 2>&1echo "RealServer Start OK";;stop)ifconfig lo:0 downroute del $SNS_VIP >/dev/null 2>&1echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceecho "RealServer Stoped";;*)echo "Usage: $0 {start|stop}"exit 1esacexit 0


此脚本用于节点服务器绑定 VIP &＃xff0c;并抑制响应 VIP 的 ARP 请求。这样做的目的是为了不让关于 VIP 的 ARP 广播时&＃xff0c;节点服务器应答&＃xff08; 因为节点服务器都绑定了 VIP &＃xff0c;如果不做设置它们会应答&＃xff0c;就会乱套 &＃xff09;。

3、realserver.sh脚本授予执行权限

[root&＃64;nginx01 ~]# chmod u&＃43;x /etc/rc.d/init.d/realserver.sh
[root&＃64;nginx02 ~]# chmod u&＃43;x /etc/rc.d/init.d/realserver.sh

4、启动服务

[root&＃64;nginx01 ~]# /etc/rc.d/init.d/realserver.sh start
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK[root&＃64;nginx02 ~]# /etc/rc.d/init.d/realserver.sh start
/etc/rc.d/init.d/realserver.sh: line 3: /etc/rc.d/init.d/functions: Permission denied
RealServer Start OK

5、查看vip

6、修改一下网页显示&＃xff0c;并重启服务

[root&＃64;nginx01 ~]# echo "nginx01" > /usr/share/doc/HTML/index.html
[root&＃64;nginx01 ~]# systemctl restart nginx[root&＃64;nginx02 ~]# echo "nginx02 web" > /usr/share/doc/HTML/index.html
[root&＃64;nginx02 ~]# systemctl restart nginx

7、客户端访问vip

三、故障模拟

1、停止lvs01服务&＃xff0c;模拟故障

[root&＃64;lvs01 ~]# systemctl stop keepalived

lvs01停止服务

lvs02从BACKUP转换为MASTER状态

负载正常

2、lvs01恢复之后自动抢占master状态

[root&＃64;lvs01 ~]# systemctl start keepalived

因为lvs02的优先级是99&＃xff0c;lvs01的优先级是100&＃xff0c;越高越优先

3、停止nginx02&＃xff0c;默认后端web服务故障

[root&＃64;nginx02 ~]# systemctl stop nginx

lvs01会检查后端web状态&＃xff0c;异常就从服务器列表移除

lvs02同理

客户端访问只能是nginx01响应