一. 部署思路

用户访问的域名都解析到LVS的VIP上，LVS做四层负载均衡，负载分配用户的请求至不同的HAproxy代理服务器上，HAproxy再对用户的请求做7层负载均衡，将不同的链接根据ACL规则分配到不同的真实Apache服务器上。

二. 组网规划

1. 组网拓扑图

2. 地址规划

3. 测试域名规划

域名注册两个: static.test.com 和 study.test.com

• static.test.com---->此域名请求被负载到apache 192.168.31.15


• 路径里带jpg后缀的被分配到apache 192.168.31.15


• 其他的所有被分配到apache 192.168.31.16

三. 部署LVS+keepalive

1. LVS-MASTER部署

yum -y install gcc-* glibc-* *c++* openssl-devel #安装开发环境
yum -y install ipvsadm #安装LVS
yum -y install keepalived #安装keepalive

! Configuration File for keepalived
global_defs {
notification_email {
wang_zengyi@126.com #设置接收报警邮件，可以设置多个，每行一个，前提是需要开启本机的sendmail服务
}
notification_email_from 647956023@qq.com #设置邮件的发送邮箱
smtp_server 121.51.19.175 #设置SMTP服务器地址
smtp_connect_timeout 30 #设置连接SMTP服务器的超时时间
router_id LVS_DEVEL #表示运行keepalive服务器的一个标识，发邮件时显示在邮件主题中的信息
}
vrrp_instance VI_1 { #VRPP实例部分
state MASTER #指定VRRP角色
interface eth0 #指定HA监测的网络接口
virtual_router_id 51 #VRRP实例ID，同一组VRRP必须试用同样的ID
priority 100 #VRRP优先级，越大越优先
advert_int 1 #心跳报文通告间隔
authentication {
auth_type PASS #设置验证类型，主要有PASS和AH两种
auth_pass 1111 #设置验证密码，同一组VRRP的主备必须是用相同的密码和类型
}
virtual_ipaddress {
192.168.31.10 #设置VIP
}
}
virtual_server 192.168.31.10 80 { #设置对用户提供服务的虚拟IP和端口
delay_loop 6 #设置运行情况检查，时间是秒
lb_algo rr #设置负载调度算法
lb_kind DR #设置LVS实现负载均衡的机制
nat_mask 255.255.255.0
#persistence_timeout 50 #会话超时时间，单位是秒，超时后会分发到下一个节点
protocol TCP #指定协议类型，有TCP和UDP
real_server 192.168.31.13 80 { #指定后端真实服务器地址和端口
weight 1
TCP_CHECK {
connect_timeout 3 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
}
}
real_server 192.168.31.14 80 { #指定后端真实服务器地址和端口
weight 1
TCP_CHECK {
connect_timeout 3 #表示3秒无响应超时
nb_get_retry 3 #表示重试次数
delay_before_retry 3 #表示重试间隔
}
}
}

2. LVS-BACKUP部署

yum -y install gcc-* glibc-* *c++* openssl-devel #安装开发环境
yum -y install ipvsadm #安装LVS
yum -y install keepalived #安装keepalive

LVS-BACKUP的配置文件和主配置文件只有以下部分不同：
1. 角色改为BACKUP。
2. priority改的要低于主机的优先级。

四. 部署HAproxy

• 所有的haproxy的部署方法和配置完全相同，详细见如下内容：

yum -y install haproxy
#以下内容实际环境中可以编写成脚本
ifconfig lo:0 192.168.31.10 netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

#haproxy的配置
#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
# to have these messages end up in /var/log/haproxy.log you will
# need to:
#
# 1) configure syslog to accept network log events. This is done
# by adding the &＃39;-r&＃39; option to the SYSLOGD_OPTIONS in
# /etc/sysconfig/syslog
#
# 2) configure local2 events to go to the /var/log/haproxy.log
# file. A line like the following can be added to
# /etc/sysconfig/syslog
#
# local2.* /var/log/haproxy.log
#
log 127.0.0.1 local2 #全局的日志配置，设置接收日志的地址和日志设备
chroot /var/lib/haproxy #指定haproxy程序的更改根目录
pidfile /var/run/haproxy.pid #指定haproxy进程的PID文件，启动进程的用户必须有访问权限
maxconn 4000 #设置haproxy进程可接受的最大连接数，等同于ulimit -n
user haproxy #设置运行haproxy进程的用户，也可使用该用户的UID代替
group haproxy #设置运行haproxy进程的组，也可使用该组的GID代替
daemon #设置haproxy进入后台运行，这是推荐模式
nbproc 1 #设置haproxy可以启动的进程数，推荐这个数值要小于CPU内核数
#设置多个进程可减少每个进程任务队列，但可能导致系统崩溃
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the &＃39;listen&＃39; and &＃39;backend&＃39; sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http #haproxy运行模式，可以运行在TCP（四层）、HTTP（七层）、health模式
log global #log配置使用global定义
option httplog #启用haproxy的日志记录http请求
option dontlognull
option http-server-close #客户端完成请求后，haproxy将主动关闭TCP连接
option forwardfor except 127.0.0.0/8 #如果后端服务器要获得用户的真实IP就要配置此参数
option redispatch #此参数用于COOKIE保持的环境中，当后端服务器故障，用户会话将被强制指向到另一台健康服务器
retries 3 #设置连接后端服务器的失败重试次数
timeout http-request 10s
timeout queue 1m
timeout connect 10s #设置成功连接一台服务器的最长等待时间
timeout client 1m #设置连接客户端发送数据时最长等待时间
timeout server 1m #设置服务器回应客户端数据发送的最长等待时间
timeout http-keep-alive 10s
timeout check 10s #设置对后端服务器的检测超时时间
maxconn 3000
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main *:80
acl url_static hdr_beg(host) -i static.
acl url_static path_end -i .jpg
use_backend static if url_static
default_backend app
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
balance roundrobin
server static 192.168.31.15:80 check
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
balance roundrobin
server app1 192.168.31.16:80 check

五. 部署apache服务器

#192.168.31.15 apache部署：
/etc/init.d/httpd restart
chkconfig --level 35 httpd on
echo "this is 192.168.31.15" > /var/www/html/index.html
echo "this is 192.168.31.15 test picture" > /var/www/html/tiger.jpg
#192.168.31.16 apache部署：
/etc/init.d/httpd restart
chkconfig --level 35 httpd on
echo "this is 192.168.31.16" > /var/www/html/index.html
echo "this is 192.168.31.16 test picture" > /var/www/html/tiger.jpg
#192.168.31.17 apache部署：
/etc/init.d/httpd restart
chkconfig --level 35 httpd on
echo "this is 192.168.31.17" > /var/www/html/index.html
echo "this is 192.168.31.17 test picture" > /var/www/html/tiger.jpg

六. 启动集群

# LVS主和备都使用如下方法启动
chkconfig --level 35 keepalived on
/etc/init.d/keepalived restart
chkconfig --level 35 ipvsadm on
/etc/init.d/ipvsadm restart
#HAproxy都使用如下方法启动
chkconfig --level 35 haproxy on
/etc/init.d/haproxy restart

七. 测试集群负载效果

#如下测试内容符合HAproxy定义的规则，测试效果符合预期
MacBook-Pro:~ momo$ curl static.test.com
this is 192.168.31.15
MacBook-Pro:~ momo$ curl static.test.com
this is 192.168.31.15
MacBook-Pro:~ momo$ curl static.test.com
this is 192.168.31.15
MacBook-Pro:~ momo$ curl static.test.com/tiger.jpg
this is 192.168.31.15 test picture
MacBook-Pro:~ momo$ curl static.test.com/tiger.jpg
this is 192.168.31.15 test picture
MacBook-Pro:~ momo$ curl static.test.com/tiger.jpg
this is 192.168.31.15 test picture
MacBook-Pro:~ momo$ curl study.test.com
this is 192.168.31.16
MacBook-Pro:~ momo$ curl study.test.com
this is 192.168.31.16
MacBook-Pro:~ momo$ curl study.test.com
this is 192.168.31.16
MacBook-Pro:~ momo$
#高可用测试用、故障切换测试省略