图解LVS的工作原理「建议收藏」

ILVS，是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目。LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS特点：

通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。LVS的主要特点有以下几个方面：

• 高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。


• 成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。


• 配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

• 支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用
  支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

• 应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等


• 缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS常见术语

LVS中有一些常见的术语，如下表所示：

1. 用户请求目标网站时，经过dns查询得到目的IP为VIP，目的端口为80，于是客户端和我们VIP，端口80建立连接。当数据包到达VIP所在的局域网时，在同一网段中，两个主机通信靠的是二层的物理地址而不是Ip地址，因此需要将IP地址转换为MAC地址，因此会发出apr请求，查询VIP对应的mac地址。==Linux主机有这么一个特性，假设我们的主机上有两块网卡，比如eth0,eth1 当arp请求eth1的mac地址的时候，eth1会答复，这个是理所当然的，但是eth0也会“好心”的帮eth1回答这个arp请求。==我们在Real Server的lo网卡上配置了VIP，但是我们只想让Director上的网卡来响应我们的这个arp请求。因此就需要更改下我们的一些内核参数，具体含义见后文。这时，数据包就得到了二层的Director的传输地址。

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_ignore = 1


正常情况下只写第二条就是了，all 是指所有设备的interface，当all和具体的interface比如lo，按照最大的值生效；

2. 当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP。


3. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链.


4. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址


5. 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。


6. client的请求被Director转发并经过链路层寻址到达Realserver后，由于Realserver的lo接口配置了VIP(请求中的目标IP正是VIP)，所以接收请求并处理。处理完成之后，将响应报文通过lo接口传送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）然后向外发出。此时的源IP地址为VIP，目标IP为CIP。==如果将源地址为VIP将数据包发送出去，那么最终交换机上会产生两条VIP对应的mac地址记录，一条是Director的mac地址记录，还有一条是Real server的mac地址记录，这将会导致真正的VIP无法接收到请求。==因此，此处要配置arp_announce，目的是为了修改源ip的目的地址。

net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2


配置arp_announce=2，选择该主机发送网卡上最合适的本地地址作为arp请求的源IP地址。
9. 响应报文通过二层链路传输，最终送达至客户端。

DR模式的特性
1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

3、RS跟Director Server必须在同一个物理网络中

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

5、不支持地址转换，也不支持端口映射

6、RS可以是大多数常见的操作系统

7、RS的网关绝不允许指向DIP

8、RS上的lo接口配置VIP的IP地址

TUN工作模式

1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）直接发送给客户端。注意：需要设置lo接口的VIP不能在公网上出现。

full-nat模式

特点：
（1）RIP，DIP可以使用私有地址；
（2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；
（3）支持端口映射；
（4）RS的OS可以使用任意类型；
（5）请求报文经由Director，响应报文也经由Director

LVS有两种类型的调度算法，其一就是静态的调度算法，这种算法一经实现，后续就不会发生变化，是既定的规则，后续数据包的流转都会按照这种规则进行按部就班的流转；其二就是动态的调度算法，这种算法是基于网络状况，或者后端服务器的状况，连接的状况等来进行实时的调整，算法的规则会根据实际情况而发生一定的变化。

常用的静态调度算法有以下几种：

1.RR：轮叫调度（Round Robin）
调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载｡

2.WRR：加权轮叫（Weight RR）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.DH：目标地址散列调度（Destination Hash ）
根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

4.SH：源地址 hash（Source Hash）
源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空｡

常用的动态调度算法有下面这些

1.LC：最少链接（Least Connections）
调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载｡调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.SED：最短延迟调度（Shortest Expected Delay ）
在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

在ipvsadm中有几个常见术语需要解释一下：

• virtual-service-address:是指虚拟服务器的ip 地址


• real-service-address:是指真实服务器的ip 地址


• scheduler：调度方法

配置虚拟服务的语法

ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask]
#添加/编辑一条新的虚拟服务器记录。
ipvsadm -D -t|u|f virtual-service-address
#删除一条记录
ipvsadm -C
#清除所有记录
ipvsadm -R
#恢复虚拟服务器规则
ipvsadm -S [-n]
#保存虚拟服务器规则
命令选项解释：
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask


配置real server的语法

ipvsadm 的用法和格式如下：
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式


NAT和DR模式的实现

上述四种工作模式，DR模式和NAT模式是常用的两种模式，本文就只阐述这两种工作模式。

NAT模式的实现

在实现之前，要先对网段进行一定的规划，每一台服务器都去规划好它的位置，和其所承担的职责。

其数据流转的模型如下图所示：

实现步骤：
安装相关配置工具
[root@lvs1 ~]# yum install ipvsadm -y

lvs-server配置：
1、ipvsadm -A -t 192.168.31.100:80 -s wrr
#开启一个基于80端口的虚拟服务，调度方式为wrr
2、ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.31 -m -w 1
#配置web1服务后端real server 为nat工作方式 权重为1
ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.32 -m -w 1
#配置web2服务后端real server 为nat工作方式 权重为1
ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.33 -m -w 1
#配置web3服务后端real server 为nat工作方式 权重为1
3、修改内核配置，开启路由转发
vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1
sysctl -p 使其生效
5、real server配置
配置网关指向172.25.0.11，开启web、php-fpm、mysql服务


可分别在三个站点上面写上不同的内容，然后进行测试，看是否能够进行调度。
注：windows中的浏览器中一般都会有缓存，其调度可能会失效，使用Linux中的curl等命令访问则是没有问题的。能够正常的实现调度。

DR模式的实现

DR模式的配置是使用命令来实现的，故其中的一些配置在系统重启之后是不存在的，如果要想下次开机启动之后，能够自动的配置，可以将配置的步骤写成脚本，并设置开机自启动。（上面NAT模式的实现也可以设置开机自启动脚本来实现。）

调度器配置

LVS调度器脚本

#!/bin/bash
# chkconfig: 2345 90 10
#LVS script for DR
. /etc/rc.d/init.d/functions
VIP=172.25.0.100
DIP=172.25.0.11
RIP1=172.25.0.31
RIP2=172.25.0.32
RIP3=172.25.0.33
PORT=80
#
#description: hhahahah
case "$1" in
start)
/sbin/ifconfig ens34:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev ens34:0
# Since this is the Director we must be able to forward packets
echo 1 > /proc/sys/net/ipv4/ip_forward
# 开启路由转发功能
# Clear all iptables rules.
/sbin/iptables -F
# Reset iptables counters.
/sbin/iptables -Z
# Clear all ipvsadm rules/services.
/sbin/ipvsadm -C
# Add an IP virtual service for VIP 192.168.0.219 port 80
# In this recipe, we will use the round-robin scheduling method.
# In production, however, you should use a weighted, dynamic scheduling method.
/sbin/ipvsadm -A -t $VIP:80 -s wrr
# Now direct packets for this VIP to
# the real server IP (RIP) inside the cluster
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1
/sbin/ipvsadm -a -t $VIP:80 -r $RIP3 -g -w 1
;;
stop)
# Stop forwarding packets
echo 0 > /proc/sys/net/ipv4/ip_forward
# Reset ipvsadm
/sbin/ipvsadm -C
# Bring down the VIP interface
/sbin/ifconfig ens34:0 down
# echo "ipvs is stopped..."
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac


将上述内容保存在/etc/init.d/lvs-director文件中，然后添加到服务：


[root@lvs ~]# chmod +x /etc/init.d/lvs-director
# 添加脚本执行权限
[root@lvs ~]# chkconfig --add lvs-director
# 添加脚本到服务当中
[root@lvs ~]# chkconfig lvs-director on
# 设置为开机自启动服务
[root@lvs ~]# /etc/init.d/lvs-director start
# 启动脚本


WEB后端服务器配置

客户端脚本

#!/bin/bash
#
# Script to start LVS DR real server.
# chkconfig: - 90 10
# description: LVS DR real server
#
. /etc/rc.d/init.d/functions
VIP=172.25.0.100
host=`/bin/hostname`
case "$1" in
start)
# Start LVS-DR real server on this machine.
/sbin/ifconfig lo down
/sbin/ifconfig lo up
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#只响应目的IP地址为接收网卡上的本地地址的arp请求
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
# 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
#配置所有网卡只响应自己接口上的ip的arp请求，其余的忽略。
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
#必须避免将接口信息向非本网络进行通告

/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
;;
stop)
# Stop LVS-DR real server loopback device(s).
/sbin/ifconfig lo:0 down
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
# Invalid entry.
echo "$0: Usage: $0 {start||stop}"
exit 1
;;
esac


保存至/etc/init.d/lvs-rs，并赋予执行权限，然后添加为开机启动：


[root@web1~]# chmod +x /etc/init.d/lvs-rs
[root@web1 ~]# chkconfig --add lvs-rs
[root@web1 ~]# chkconfig lvs-rs on
[root@web1 ~]# /etc/init.d/lvs-rs start


web2和web3采用完全相同的配置即可。

实验测试

在web1、web2和web3上写入不同的站点内容，然后访问172.25.0.100。访问调度器的网址，看是否每次访问的站点内容都是不同的。（windows中的浏览器有缓存功能，如果站点内容有时候是相同的，那么不一定是自己配错了，可能是缓存的原因，避免的办法就是使用Linux的curl命令去访问站点的内容）

Linux内核参数之arp_ignore和arp_announce
LVS工作总结之原理篇–DR模式