前言
之前咱们通过 Nginx(六):Nginx HTTP负载均衡和反向代理的配置与优化 和 Nginx+tomcat组合实现高并发场景的动静分离和负载均衡方案 这两篇文章了解了Nginx对高并发应用服务器tomcat的负载均衡优化,所有的请求都会先经过Nginx,Nginx就像是一座城池的城门,它的坚固耐用程度显然就变得极为重要。
为了防止一台Nginx服务器崩溃带来无法预估的灾难,我们就必须实现Nginx负载均衡服务器的双机高可用,显然用keepalived来实现是非常合适的。
环境准备
192.168.0.221:nginx + keepalived master
192.168.0.222:nginx + keepalived backup
192.168.0.223:tomcat
192.168.0.224:tomcat
虚拟ip(VIP):192.168.0.200,对外提供服务的ip,也可称作浮动ip
各个组件之间的关系图如下:
tomcat做应用服务器,Nginx实现负载均衡
在前言里已经说过,一定要先读读那两篇文章,然后才有下边的nginx高可用。
keepalived实现nginx高可用(HA)
keepalived的安装本文就不讲述了,具体keepalived知识参阅:Keepalived介绍以及在Linux系统下的安装与配置
keepalived作用其实在第一张图中已经有所体现,主要起到两个作用:实现VIP到本地ip的映射; 以及检测nginx状态。
master上的keepalived.conf内容如下:
global_defs {notification_email {997914490@qq.com}notification_email_from sns-lvs@gmail.comsmtp_server smtp.hysec.comsmtp_connection_timeout 30router_id nginx_master # 设置nginx master的id,在一个网络应该是唯一的
}
vrrp_script chk_http_port {script "/usr/local/src/check_nginx_pid.sh" #最后手动执行下此脚本,以确保此脚本能够正常执行interval 2 #(检测脚本执行的间隔,单位是秒)weight 2
}
vrrp_instance VI_1 {state MASTER # 指定keepalived的角色,MASTER为主,BACKUP为备interface eth0 # 当前进行vrrp通讯的网络接口卡(当前centos的网卡)virtual_router_id 66 # 虚拟路由编号,主从要一直priority 100 # 优先级,数值越大,获取处理请求的优先级越高advert_int 1 # 检查间隔,默认为1s(vrrp组播周期秒数)authentication {auth_type PASSauth_pass 1111}track_script {chk_http_port #(调用检测脚本)}virtual_ipaddress {192.168.0.200 # 定义虚拟ip(VIP),可多设,每行一个}
}
backup上的keepalived.conf内容如下:
global_defs {notification_email {997914490@qq.com}notification_email_from sns-lvs@gmail.comsmtp_server smtp.hysec.comsmtp_connection_timeout 30router_id nginx_backup # 设置nginx backup的id,在一个网络应该是唯一的
}
vrrp_script chk_http_port {script "/usr/local/src/check_nginx_pid.sh"interval 2 #(检测脚本执行的间隔)weight 2
}
vrrp_instance VI_1 {state BACKUP # 指定keepalived的角色,MASTER为主,BACKUP为备interface eth0 # 当前进行vrrp通讯的网络接口卡(当前centos的网卡)virtual_router_id 66 # 虚拟路由编号,主从要一直priority 99 # 优先级,数值越大,获取处理请求的优先级越高advert_int 1 # 检查间隔,默认为1s(vrrp组播周期秒数)authentication {auth_type PASSauth_pass 1111}track_script {chk_http_port #(调用检测脚本)}virtual_ipaddress {192.168.0.200 # 定义虚拟ip(VIP),可多设,每行一个}
}
nginx检测脚本check_nginx_pid.sh内容如下:
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then /usr/local/nginx/sbin/nginx #重启nginxif [ `ps -C nginx --no-header |wc -l` -eq 0 ];then #nginx重启失败,则停掉keepalived服务,进行VIP转移killall keepalived fi
fi
启动keepalived
# service keepalived start
访问VIP,效果如下:
我们来看下keepalived的日志信息
master(192.168.0.221):
backup(192.168.0.222):
当我们把master上的keepalived停掉(模拟宕机),再来看下keepalived日志
原master(192.168.0.221):
原backup(192.168.0.222):
通过VIP可以正常访问服务,前端请求感受不到后端nginx的切换;重新唤醒原master(192.168.0.221)的测试这里就不进行了,大家自行测试。
注意点
1、执行脚本时报错:/bin/sh^M: bad interpreter: 没有那个文件或目录
因为操作系统是windows,我在windows下编辑的脚本,所以有可能有不可见字符。脚本文件是DOS格式的, 即每一行的行尾以回车符和换行符来标识, 其ASCII码分别是0x0D, 0x0A。可以有很多种办法看这个文件是DOS格式的还是UNIX格式的, 还是MAC格式的
解决方法:
vim filename
:set ff? #可以看到dos或unix的字样. 如果的确是dos格式的。
:set ff=unix #把它强制为unix格式的, 然后存盘退出。
再次运行脚本。
从windows编辑文件再拷贝到linux时要特别注意,另外,脚本需要赋予可执行权限才能执行,可执行文件的一种直观表现就是文件本身呈绿色。
2、负载均衡最好进行多浏览器测试,有些浏览器会缓存,会产生没有负载均衡的效果,例如我这次测试中谷歌浏览器就出现了类似的情况(还没搞清楚是否是缓存的原因),火狐,360、IE浏览器都是正常的负载均衡效果。
3、请求走向
访问虚拟IP(VIP),keepalived将请求映射到本地nginx,nginx将请求转发至tomcat,例如:http://192.168.0.200/myWeb/,被映射成http://192.168.0.221/myWeb/,端口是80,而221上nginx的端口正好是80;映射到nginx上后,nginx再进行请求的转发。
keepalived服务器的ip情况
VIP总会在keepalived服务器中的某一台上,也只会在其中的某一台上;VIP绑定的服务器上的nginx就是master,当VIP所在的服务器宕机了,keepalived会将VIP转移到backup上,并将backup提升为master。
4、VIP也称浮动ip,是公网ip,与域名进行映射,对外提供服务; 其他ip一般而言都是内网ip, 外部是直接访问不了的