三种LVS负载均衡模式

调度器的实现技术中,IP负载均衡技术是效率最高的,IP虚拟服务器软件(IPVS)是在linux内核中实现的。
LVS负载均衡模式---1.NAT模式
NAT用法本来是因为网络IP地址不足而把内部保留IP地址通过映射转换成公网地址的一种上网方式(原地址NAT)。如果把NAT的过程稍微变化,就可以成为负载均衡的一种方式。原理其实就是把从客户端发来的IP包的IP头目的地址在DR上换成其中一台REALSERVER的IP地址并发至此 REALSERVER,而REALSERVER则在处理完成后把数据经过DR主机发回给客户端,DR在这个时候再把数据包的原IP地址改为DR接口上的 IP地址即可。期间,无论是进来的流量,还是出去的流量,都必须经过DR。
LVS负载均衡模式---2.IP隧道模式
隧道模式则类似于×××的方式,使用网络分层的原理,在从客户端发来的数据包的基础上,封装一个新的IP头标记(不完整的IP头,只有目的IP部)发给 REALSERVER,REALSERVER收到后,先把DR发过来的数据包的头给解开,还原其数据包原样,处理后,直接返回给客户端,而不需要再经过 DR。需要注意的是,由于REALSERVER需要对DR发过来的数据包进行还原,也就是说必须支持IPTUNNEL协议。所以,在REALSERVER 的内核中,必须编译支持IPTUNNEL这个选项。IPTUNNEL也在Net working options里面。
LVS负载均衡模式---3.直接路由模式
直接路由模式比较特别,很难说和什么方面相似,前2种模式基本上都是工作在网络层上(三层),而直接路由模式则应该是工作在数据链路层上(二层)。其原理为,DR和REALSERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应,所有REALSERVER对本身这个IP的ARP请求保持静默。也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的REALSERVER,把目的MAC地址改为 REALSERVER的MAC并发给这台REALSERVER。这时REALSERVER收到这个数据包,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端。由于DR要对二层包头进行改换,所以DR和REALSERVER之间必须在一个广播域,也可以简单的理解为在同一台交换机上。
LVS十种调度算法介绍
1.轮叫调度(Round Robin)(简称rr)
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。

2.加权轮叫(Weighted Round Robin)(简称wrr)
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.最少链接(Least Connections)(LC)
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用“最小连接”调度算法可以较好地均衡负载。

4.加权最少链接(Weighted Least Connections)(WLC)
在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

5.基于局部性的最少链接(Locality-Based Least Connections)(LBLC)
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接” 的原则选出一个可用的服务器,将请求发送到该服务器。

6.带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)(LBLCR)
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。

7.目标地址散列(Destination Hashing)(DH)
“目标地址散列”调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

8.源地址散列(Source Hashing)(SH)
“源地址散列”调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
9. 最短的期望的延迟(Shortest Expected Delay Scheduling SED)(SED)
基于wlc算法。这个必须举例来说了
ABC三台机器分别权重123 ,连接数也分别是123。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进行这样一个运算
A(1+1)/1
B(1+2)/2
C(1+3)/3
根据运算结果,把连接交给C 。

10.最少队列调度(Never Queue Scheduling NQ)(NQ)
无需队列。如果有台 realserver的连接数=0就直接分配过去,不需要在进行sed运算
=====================================================================
根据业务目标分成三类:
1、High Availability 高可用
2、Load Balancing 负载均衡
3、High Performance 高性能

实现集群产品:
HA类:
rhcs、heartbeat、keepalived
LB类:
haproxy、lvs、nginx、f5、piranha
HPC类:
http://www.zghpc.com/index/downfile/infor_id/42


======================
LVS linux virtual server

LVS 负载均衡有三种模式:
1、LVS-DR模式(direct router)直接路由模式
进必须经过分发器,出就直接出,性能比较好,服务器只能放在公司内部
2、LVS-NAT模式(network address translation)
进出必须都经过分发器
3、LVS-TUN模式(ip tunneling)IP隧道模式
服务器可以放到全国各地


NAT模式的特性:
1、realserver必须与Director在同一网络,仅用于与Director服务器通讯
2、Director接收所有的数据包通讯(包括客户端与Director、Director与Realserver直接通讯)。
4、Realserver的默认网关必须指向到DIP
5、Realserver支持端口映射,可以将客户端的请求映射到realserver的另一个端口(DR模式不可以映射)。


====================net模式安装笔记=======================

1、Director机器配置
添加一张网卡

设置DIP、VIP IP地址
DIP和RIP相连同一个交换机
CIP和VIP相连同一个交换机

开启IP数据包转发
net.ipv4.ip_forward = 0 ##0改成1
查看是否开启:sysctl -p

创建yum安装ipvsadm
mount /dev/xvdd /media/ 挂在光盘
cd /etc/yum.repos.d/
cp rhel-debuginfo.repo server.repo
vi server.repo
修改为:
[base]
name=Red Hat Enterprise Linux
baseurl=file:///media/Server
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release


[Cluster]
name=Red Hat Enterprise Linux Cluster
baseurl=file:///media/Cluster
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta,file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

拷贝到另外两台RealServer
scp server.repo root@192.168.24.17:/etc/yum.repos.d/
scp server.repo root@192.168.24.24:/etc/yum.repos.d/

安装ipvsadm
yum -y install ipvsadm

2、RealServer1配置:

mount /dev/xvdd /media/
vi /var/www/html/index.html
写入:this is realserver1
启动httpd
vi /etc/sysconfig/network-scripts/ifcfg-eth0
设置RIP,子网掩码必须设置成DIP
IPADDR=192.168.24.17
NETMASK=255.255.255.0
GATEWAY=192.168.24.31


3、RealServer2 配置:
vi /var/www/html/index.html
写入:this is realserver2
启动httpd
vi /etc/sysconfig/network-scripts/ifcfg-eth0
设置RIP,子网掩码必须设置成DIP
IPADDR=192.168.24.24
NETMASK=255.255.255.0
GATEWAY=192.168.24.31


4、配置DR服务器
ipvsadm -A -t 192.168.24.111:80 -s rr 添加集群服务,rr为调度算法
ipvsadm -L -n 查询信息
ipvsadm -a -t 192.168.24.111:80 -r 192.168.24.17 -m -w 1
ipvsadm -a -t 192.168.24.111:80 -r 192.168.24.24 -m -w 2
ipvsadm -L -n 再次查看是就有了realserver
service ipvsadm save 保存配置
iptables -L 关闭或者清空防火墙
watch -n 1 'ipvsadm -L -n' 查看访问记录的数

 

============DR 模式===================
lo:0 回应客户端,lo:0上的IP跟机器有关,跟网卡没有关系
arp_announce 对网络接口上本地IP地址发出的ARP回应作出相应级别的限制
arp_ignore 定义对目标地址为本地IP的ARP询问不同的请求

NAT模式的特性:
Realserver必须与Director在同一网络
Realserver不需要是一个私有IP
Realserver的默认网关不需指向到DIP

 

DR上的配置:
在eth0上添加一个子接口:
ifconfig eth0:1 192.168.24.111 broadcast 192.168.24.111 netmask 255.255.255.255 up

添加路由
route add -host 192.168.24.111 dev eth0:1
route -n

安装ipvsadm
yum -y install ipvsadm
ipvsadm -A -t 192.168.24.111:80 -s wlc 添加集群
ipvsadm -a -t 192.168.24.111:80 -g -r 192.168.24.24 -w 1
ipvsadm -a -t 192.168.24.111:80 -g -r 192.168.24.17 -w 2
service ipvsadm save

2台realserver都加上配置:
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ifconfig lo:0 192.168.24.111 netmask 255.255.255.255 broadcast 192.168.24.111 up
route add -host 192.168.24.111 dev lo:0

 


==========keepalived + LVS==========

tar xzvf keepalived-1.2.1.tar.gz
./configure --sysconf=/etc/ --with-kernel-dir=/usr/src/kernels/2.6.18-128.el5-i686/

make
make install

ln -s /usr/local/sbin/keepalived /sbin/
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak

修改master的配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
notification_email {
liumeng@ipanel.cn
}
notification_email_from liumeng@ipanel.cn
smtp_server 192.168.10.248
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.24.111
}
}

virtual_server 192.168.24.111 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP

real_server 192.168.24.24 80 {
weight 1
TCP_CHECK {
connect_timneout 3
nb_get_retry 3
dalay_before_retry 3
connect_port 80
}
}

real_server 192.168.24.17 80 {
weight 2
TCP_CHECK {
connect_timneout 3
nb_get_retry 3
dalay_before_retry 3
connect_port 80
}
}
}

/etc/init.d/keepalived start
chkconfig keepalived on

把配置文件拷贝到备DR上
修改state为backup
修改priority为200
启动

DIP安装ipvsadm
RIP安装httpd


拷贝lvs-realserver.sh脚本到2台realserver
运行脚本
lvs-realserver.sh start

ln -s /etc/init.d/realserver.sh /etc/rc.d/rc3.d/s99realserver.sh
ln -s /etc/init.d/realserver.sh /etc/rc.d/rc5.d/s99realserver.sh

ip addr list