使用Nginx+keepalived配置负载均衡

作者：Aaron Chen | 来源：互联网 | 2014-05-28 09:40

一．体系架构在Keepalived+Nginx高可靠负载均衡架构中，keepalived负责实现High-availability(HA)功能控制前端机VIP(虚拟网络地址)，当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可以负责前端VIP

一．体系架构
在Keepalived + Nginx高可靠负载均衡架构中，keepalived负责实现High-availability (HA) 功能控制前端机VIP(虚拟网络地址)，当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可以负责前端VIP的负载均衡。

二．简单原理
NGINX_MASTER、NGINX_BACKUP两台服务器均通过keepalived软件把eth0网卡绑上一个虚拟IP（VIP）地址192.168.0.56，此VIP当前由谁承载着服务就绑定在谁的eth0上，当NGINX_MASTER发生故障时，NGINX_BACKUP会通过/etc/keepalived/keepalived.conf文件中设置的心跳时间advert_int 1检查，无法获取NGINX_MASTER正常状态的话，NGINX_BACKUP会瞬间绑定VIP来接替nginx_master的工作，当NGINX_MASTER恢复后keepalived会通过priority参数判断优先权将虚拟VIP地址192.168.0.56重新绑定给NGINX_MASTER的eth0网卡。
使用此方案的优越性
1.实现了可弹性化的架构，在压力增大的时候可以临时添加web服务器添加到这个架构里面去;
2.upstream具有负载均衡能力，可以自动判断后端的机器，并且自动踢出不能正常提供服务的机器；
3.相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障；
4.用nginx做负载均衡，无需对后端的机器做任何改动。

三．系统环境
两台负载机器安装：centos5.8 +nginx+keepalived，分别命名为: NGINX_MASTER，NGINX_BACKUP。
两台WEB集群机器安装：windows server 2008 R2+IIS7，分别命名为: WEB_1，WEB_2。
NGINX_MASTER：
ip：192.168.0.69（主服务器）
子网掩码：255.255.255.0
默认网关：192.168.0.1
vip：192.168.0.56
LVS_DR_BACKUP：
ip：192.168.0.47（备服务器）
子网掩码：255.255.255.0
默认网关：192.168.0.1
vip：192.168.0.56
WEB_1：
ip：192.168.0.109
子网掩码：255.255.255.0
默认网关：192.168.0.1
WEB_2：
ip：192.168.0.115
子网掩码：255.255.255.0
默认网关：192.168.0.1

四、Nginx的安装配置
分别在NGINX_MASTER、NGINX_BACKUP两台服务器安装nginx
1、关闭SELinux
查看SELinux的状态
getenforce
如果是开启状态，则
vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加
重启系统
reboot
2、开启防火墙80端口
vi /etc/sysconfig/iptables
添加一条规则
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
3、安装编译工具
yum update
yum install wget make gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd kernel keyutils patch perl mhash(哈稀函数库)
4 、系统约定
软件源代码包存放位置：/usr/local/src
源码包编译安装位置：/usr/local/软件名字
默认系统就会加载/dev/shm ，它就是所谓的tmpfs，有人说跟ramdisk（虚拟磁盘），但不一样。象虚拟磁盘一样，tmpfs 可以使用您的 RAM，但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备，并需要一个 mkfs 之类的命令才能真正地使用它，tmpfs 是一个文件系统，而不是块设备；您只是安装它，它就可以使用了。
tmpfs有以下优势：
1）动态文件系统的大小，
2）tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中，读写几乎可以是瞬间的。
3）tmpfs 数据在重新启动之后不会保留，因为虚拟内存本质上就是易失的。所以有必要做一些脚本做诸如加载，绑定的操作。
首先在/dev/shm建个tmp文件夹，然后与实际/tmp绑定
mkdir /dev/shm/tmp
chmod 777 /dev/shm/tmp
mount --bind /dev/shm/tmp /tmp
5、下载软件
cd /usr/local/src #进入目录
（1）、下载nginx
wget http://nginx.org/download/nginx-1.3.0.tar.gz
（2）、下载pcre （支持nginx伪静态）
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.30.tar.gz
（3）、下载ngx_cache_purge（清除指定URL缓存）
wget http://labs.frickle.com/files/ngx_cache_purge-1.5.tar.gz
（4）、下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
6、安装pcre
tar zxvf pcre-8.21.tar.gz
cd pcre-8.21
./configure
make
make install
7、安装nginx
groupadd www #添加www组
useradd -g www www -s /bin/false #创建nginx运行账户www并加入到www组，不允许www用户直接登录系统
cd /usr/local/src
tar zxvf ngx_cache_purge-1.5.tar.gz
tar zxvf nginx-1.3.0.tar.gz
cd nginx-1.3.0
./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-openssl=/usr/include/openssl --with-pcre=/usr/local/src/pcre-8.30 --add-module=/usr/local/src/ngx_cache_purge-1.5 --with-http_gzip_static_module
# 注意:--with-pcre指向的是源码包解压的路径，而不是安装的路径，否则编译会报错
make
make install
/usr/local/nginx/sbin/nginx #启动nginx
chown www.www -R /usr/local/nginx/html #设置目录所有者
vi /etc/rc.d/init.d/nginx # 设置nginx开启启动，编辑启动文件添加下面内容
#!/bin/bash
# nginx Startup script for the Nginx HTTP Server
# it is v.1.3.0 version.
# chkconfig: - 85 15
# description: Nginx is a high-performance web and proxy server.
#              It has a lot of features, but it's not for everyone.
# processname: nginx
# pidfile: /var/run/nginx.pid
# config: /usr/local/nginx/conf/nginx.conf
nginxd=/usr/local/nginx/sbin/nginx
nginx_cOnfig=/usr/local/nginx/conf/nginx.conf
nginx_pid=/usr/local/nginx/logs/nginx.pid
RETVAL=0
prog="nginx"
# Source function library.
.  /etc/rc.d/init.d/functions
# Source networking configuration.
.  /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
[ -x $nginxd ] || exit 0
# Start nginx daemons functions.
start() {
if [ -e $nginx_pid ];then
   echo "nginx already running...."
   exit 1
fi
   echo -n $"Starting $prog: "
   daemon $nginxd -c ${nginx_config}
   RETVAL=$?
   echo
   [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
   return $RETVAL
}
# Stop nginx daemons functions.
stop() {
        echo -n $"Stopping $prog: "
        killproc $nginxd
        RETVAL=$?
        echo
        [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /usr/local/nginx/logs/nginx.pid
}
reload() {
    echo -n $"Reloading $prog: "
    #kill -HUP `cat ${nginx_pid}`
    killproc $nginxd -HUP
    RETVAL=$?
    echo
}
# See how we were called.
case "$1" in
start)
        start
        ;;
stop)
        stop
        ;;
reload)
        reload
        ;;
restart)
        stop
        start
        ;;
status)
        status $prog
        RETVAL=$?
        ;;
*)
        echo $"Usage: $prog {start|stop|restart|reload|status|help}"
        exit 1
esac
exit $RETVAL
chmod +x /etc/rc.d/init.d/nginx # 赋予执行权限
chkconfig nginx on #设置开机启动
service nginx stop #关闭nginx
8、配置nginx
将nginx初始配置文件备份，我们要重新创建配置文件
mv /usr/local/nginx/conf/nginx.conf /usr/local/nginx/conf/nginx.conf.bak
vi /usr/local/nginx/conf/nginx.conf
user  www www;
worker_processes  4;   # 工作进程数,为CPU的核心数或者两倍
error_log   logs/error.log  crit; # debug|info|notice|warn|error|crit
pid        logs/nginx.pid;
events {
    use epoll;                            #Linux最常用支持大并发的事件触发机制
    worker_connections  65535;
}
http {
    include       mime.types;             #设定mime类型,类型由mime.type文件定义
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  logs/access.log  main;
    #设定请求缓冲
    server_names_hash_bucket_size 256;    #增加,原为128
    client_header_buffer_size 256k;       #增加,原为32k
    large_client_header_buffers 4 256k;   #增加，原为32k
    #size limits
    client_max_body_size          50m;    #允许客户端请求的最大的单个文件字节数
    client_header_timeout         3m;
    client_body_timeout           3m;
    send_timeout                  3m;
    sendfile                      on;
    tcp_nopush                    on;
    keepalive_timeout             120;
    tcp_nodelay                   on;
    server_tokens                 off;    #不显示nginx版本信息
    limit_conn_zone $binary_remote_addr zOne=perip:10m; #添加limit_zone,限制同一IP并发数
    #fastcgi_intercept_errors on;        #开启错误页面跳转
    include  gzip.conf;    #压缩配置文件
    include  proxy.conf;    #proxy_cache参数配置文件
    include  vhost/*.conf;    #nginx虚拟主机包含文件目录
    include  mysvrhost.conf;    #后端WEB服务器列表文件
}
cd /usr/local/nginx/conf/
mkdir vhost
vi proxy.conf
proxy_temp_path   /tmp/proxy_temp;
proxy_cache_path  /tmp/proxy_cache levels=1:2 keys_zOne=cache_one:500m inactive=1d max_size=3g;
client_body_buffer_size  512k;     #原为512k
proxy_connect_timeout    50;       #代理连接超时
proxy_read_timeout       600;      #代理发送超时
proxy_send_timeout       600;      #代理接收超时
proxy_buffer_size        128k;     #代理缓冲大小，原为32k
proxy_buffers           16 256k;   #代理缓冲，原为4 64k
proxy_busy_buffers_size 512k;      #高负荷下缓冲大小，原为128k
proxy_temp_file_write_size 1024m;  #proxy缓存临时文件的大小原为128k
#proxy_ignore_client_abort  on;    #不允许代理端主动关闭连接
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404 http_502 http_504;
vi mysvrhost.conf
upstream cn100 {
  ip_hash;  #会话保持
  server 192.168.0.115  max_fails=1 fail_timeout=60s;
  server 192.168.0.109  max_fails=1 fail_timeout=60s;
}
vi gzip.conf
#网页GZIP压缩设置
#2012.4.2
#可通过http://tool.chinaz.com/Gzips/检测压缩情况
#
#启动预压缩功能，对所有类型的文件都有效
gzip_static on;    #开启nginx_static后，对于任何文件都会先查找是否有对应的gz文件
#找不到预压缩文件，进行动态压缩
gzip on;
gzip_min_length   1k;  #设置最小的压缩值,单位为bytes.超过设置的min_length的值会进行压缩,小于的不压缩.
gzip_comp_level   3;   #压缩等级设置,1-9,1是最小压缩,速度也是最快的;9刚好相反,最大的压缩,速度是最慢的,消耗的CPU资源也多
gzip_buffers      16 64k;   #设置系统的缓存大小,以存储GZIP压缩结果的数据流,它可以避免nginx频烦向系统申请压缩空间大小
gzip_types text/plain application/x-Javascript text/css text/Javascript;
#关于gzip_types，如果你想让图片也开启gzip压缩，那么用以下这段吧：
#gzip_types text/plain application/x-Javascript text/css text/Javascript application/x-httpd-php image/jpeg image/gif image/png;
#gzip公共配置
gzip_http_version 1.1;      #识别http的协议版本(1.0/1.1)
gzip_proxied      any;      #设置使用代理时是否进行压缩，默认是off的
gzip_vary         on;       #和http头有关系,加个vary头,代理判断是否需要压缩
gzip_disable "MSIE [1-6]."; #禁用IE6的gzip压缩
vi vhost/cn100.conf
server {
        listen       80;
        server_name  localhost;
        #charset GB2312;
        location /
        {
              proxy_redirect off;
              proxy_set_header        Host $host;
              proxy_set_header        X-Real-IP $remote_addr;
              proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
              proxy_pass http://cn100;
        }
# 查看nginx的并发连接数配置
        location /NginxStatus
        {
             stub_status             on;
             access_log              off;
             auth_basic              "NginxStatus";
        }
        access_log  off;
        error_page 404  /404.html;
        error_page   500 502 503 504 /404.html;
        location = /404.html {
            root   html;
        }
        limit_conn perip 50;  #同一ip并发数为50,超过会返回503
}
9、设置proxy_cache参数配置
cd /tmp #进入目录
mkdir -p /tmp/proxy_temp #proxy_temp_dir与proxy_cache_dir这两个文件夹必须在同一个分区
mkdir -p /tmp/proxy_cache #proxy_cache_dir与proxy_temp_dir这两个文件夹必须在同一个分区
chown www.www -R /tmp/proxy_temp /tmp/proxy_cache #设置目录所有者
chmod -R 777 /tmp/proxy_temp /tmp/proxy_cache #设置目录权限
附1：Nginx优化设置基本的TCP配置
vi /etc/sysctl.conf
优化内核参数
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_synCOOKIEs = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65000 允许系统打开的端口范围
使配置立即生效：
/sbin/sysctl -p
附2：编写每天定时切割Nginx日志的脚本
1、创建脚本/usr/local/nginx/cut_nginx_log.sh
vi /usr/local/nginx/cut_nginx_log.sh
#/bin/bash
savepath_log='/usr/local/nginx/logs'
nglogs='/usr/local/nginx/logs'
mkdir -p  $savepath_log/$(date +%Y)/$(date +%m)
mv $nglogs/access.log  $savepath_log/$(date +%Y)/$(date +%m)/access.$(date +%Y%m%d).log
mv  $nglogs/error.log  $savepath_log/$(date +%Y)/$(date +%m)/error.$(date +%Y%m%d).log
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
chmod +x /usr/local/nginx/cut_nginx_log.sh
2、设置crontab，每天凌晨00:00切割nginx访问日志
crontab ?e
输入以下内容：
00 00 * * * /bin/bash /usr/local/nginx/cut_nginx_log.sh
附3：关闭系统无关的服务
接下来关掉一些不必要的系统服务
chkconfig bluetooth off
chkconfig firstboot off
chkconfig cups off
chkconfig ip6tables off
chkconfig isdn off
chkconfig kudzu off
chkconfig sendmail off
chkconfig smartd off
chkconfig autofs off
附4：关于服务器间的时间同步
在时间同步服务器上安装ntp
yum install ntp
设置同步
crontab ?e
在最后添加
1 5 * * * /usr/sbin/ntpdate time.nist.gov >> /var/log/upClock.log
附5. 查看nginx的并发连接数在浏览器中打开http:///NginxStatus

以上解析： Active connections：当前 Nginx 正处理的活动连接数。 server accepts handled requests :总共处理了15个连接 , 成功创建 15 次握手,总共处理了76个请求。 Reading：nginx 读取到客户端的 Header 信息数。 Writing：nginx 返回给客户端的 Header 信息数。 Waiting ：开启 keep-alive 的情况下， Nginx 已经处理完正在等候下一个请求指令的停留连接。附6. 开启nginx缓存功能（2012年5月30日新增） proxy.conf文件前面已经配置过了，这里无需再配置，直接配置cn100.conf文件即可。 vi /usr/local/nginx/conf/vhost/cn100.conf server {
        listen       80;
        server_name  localhost;
        #charset GB2312;
        location /
        {
              proxy_pass http://cn100;
              proxy_redirect off;
              proxy_set_header        Host $host;
              proxy_set_header        X-Real-IP $remote_addr;
              proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
              proxy_cache cache_one;
              proxy_cache_valid 200 302 304 1h; #200、302、304错误状态码保存1小时
              proxy_cache_valid 301 1d; #301错误状态码保存1天
              proxy_cache_valid any 1m; #其余的保存1分钟
              #以域名、URI、参数组合成Web缓存的Key值，存储缓存内容到二级缓存目录内
              proxy_cache_key $host$uri$is_args$args;
              expires 30d; #设置失效时间为30天
        }
        # 设置手动清除URL缓存
        location ~ /purge(/.*)
        {
             # 设置只允许指定的IP或IP段才可以清除URL缓存
             allow  127.0.0.1;
             allow  192.168.0.0/16;
             deny all;
             proxy_cache_purge  cache_one  $host$1$is_args$args;
        }
        location /NginxStatus
        {
             stub_status             on;
             access_log              off;
             auth_basic              "NginxStatus";
             allow  192.168.0.0/16;
             deny all;
        }
        access_log  off;
        error_page 404  /404.html;
        error_page   500 502 503 504 /404.html;
        location = /404.html {
            root   html;
        }
        limit_conn ctohome_zone 50;  #同一ip并发数为50,超过会返回503
}
以上配置文件红色部分为新增内容。通过浏览器访问一下网站，进入到/tmp/proxy_cache目录下，查看是否生成缓存文件。

清除URL缓存方法：假设你的URL为：http://192.168.0.56/images/apa.jpg，浏览器输入：http://192.168.0.56/purge/images/apa.jpg，就可以清除该URL的缓存。

五、安装配置keepalived 1.安装keepalived（HA）：
$ tar zxvf keepalived-1.2.2.tar.gz $ cd keepalived-1.2.2
$ ./configure
Keepalived configuration
------------------------
Keepalived version : 1.2.2 Compiler : gcc Compiler flags : -g -O2 -DETHERTYPE_IPV6=0x86dd Extra Lib : -lpopt -lssl -lcrypto Use IPVS Framework : No IPVS sync daemon support : No Use VRRP Framework : Yes Use Debug flags : No
注：若IPVS处为No，不用担心，是没有装ipvsadm的原因，我们是用nginx做负载，所以这里只需要用到VRRP。
make
make install

2.将keepalived 以服务方式启动
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin
chkconfig keepalived on

3.修改keepalived配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
     servererror@cn100.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server mail.cn100.com
  # smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_http_port {
    script "/etc/keepalived/nginx_pid.sh"   # 检查nginx状态的脚本
    interval 2　　
    weight 3
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.56
       # 192.168.200.17
       # 192.168.200.18
    }
    track_script {
    chk_http_port
    }
}
4.添加检查nginx状态的脚本，当nginx停止时，会自动将nginx启动 vi /etc/keepalived/nginx_pid.sh #!/bin/bash
#version 0.0.1
#
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then
#  /usr/sbin/nginx
      service nginx start
              sleep 3
                if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
#                       killall keepalived
                        service  keepalived stop
fi
fi
chmod +x /etc/keepalived/nginx_pid.sh server keepalived start 5.添加防火墙协议 VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）在iptables配置当中增加： -I INPUT -s 192.168.0.47 -d 224.0.0.18 -j ACCEPT # 如果是backup服务器，这里改成master服务器的IP

六、测试
１.当NGINX_MASTER、NGINX_BACKUP服务器nginx均正常工作时在NGINX_MASTER上：