Linux之LVS虚拟服务器的原理及环境搭建（DR模式）

LVS作为一款优秀的负载均衡软件&＃xff0c;一直受到很多企业的青睐&＃xff0c;虽然性能比不上价格昂贵的负载均衡硬件&＃xff0c;但对于大部分的业务场景&＃xff0c;LVS还是能出色地胜任的。LVS工作在网络的第四层&＃xff0c;内核的tcp/ip栈上&＃xff0c;这也决定了它在所有负载均衡软件中性能是最好的。

一、LVS

1. LVS的介绍

LVS的英文全称是Linux Virtual Server&＃xff0c;即Linux虚拟服务器。它是我们国家的章文嵩博士的一个开源项目。在linux内存2.6中&＃xff0c;它已经成为内核的一部分&＃xff0c;在此之前的内核版本则需要重新编译内核。

LVS主要由两部分组成&＃xff0c;一个是工作在用户空间的ipvsadm,另一个是工作在内核上的ipvs。ipvsadm主要负载管理集群服务&＃xff0c;包括添加、删除、修改集群服务、对数据包进行监控等&＃xff0c;真正起到负载均衡的是ipvs。ipvs主要监听在INPUT钩子函数中&＃xff0c;一旦发现用户请求的是集群服务&＃xff0c;ipvs会将数据包forward到POSTROUTING的钩子函数上&＃xff0c;然后转发给后端的realserver。

LVS主要用于多服务器的负载均衡。它工作在网络层&＃xff0c;可以实现高性能&＃xff0c;高可用的服务器集群技术。它廉价&＃xff0c;可把许多低性能的服务器组合在一起形成一个超级服务器。它易用&＃xff0c;配置非常简单&＃xff0c;且有多种负载均衡的方法。它稳定可靠&＃xff0c;即使在集群的服务器中某台服务器无法正常工作&＃xff0c;也不影响整体效果。另外可扩展性也非常好。

2. LVS的三个部分

&＃xff08;1&＃xff09;Load Balancer&＃xff1a;这是LVS的核心部分&＃xff0c;它好比我们网站MVC模型的Controller。它负责将客户的请求按照一定的算法分发到下一层不同的服务器进行处理&＃xff0c;自己本身不做具体业务的处理。另外该层还可用监控下一层的状态&＃xff0c;如果下一层的某台服务器不能正常工作了&＃xff0c;它会自动把其剔除&＃xff0c;恢复后又可用加上。该层由一台或者几台Director Server组成。

&＃xff08;2&＃xff09;Server Array&＃xff1a;该层负责具体业务。可有WEB Server、mail Server、FTP Server、DNS Server等组成。注意&＃xff0c;其实上层Director Server也可以当Real server用的。

&＃xff08;3&＃xff09;Shared Storage&＃xff1a;主要是提高上一层数据和为上一层保持数据一致。

3. 专用术语

• VS&＃xff1a;virtual server&＃xff0c;director&＃xff0c;dispatcher
• RS&＃xff1a;real server
• CIP&＃xff1a;客户读ip
• VIP&＃xff1a;用于接受客户端通信的ip
• DIP&＃xff1a;用于调度器与realserver通信的ip

• RIP&＃xff1a;用于提供真正服务的ip

4. LVS的四种模式

LVS的四种模式主要是为了实现服务器的负载均衡。

&＃xff08;1&＃xff09;VS/NAT模式

VS/NAT(Virtual Server via Network Address Translation)&＃xff0c;即网络地址翻转技术实现虚拟服务器。当请求来到时&＃xff0c;Diretor server上处理的程序将数据报文中的目标地址&＃xff08;即虚拟IP地址&＃xff09;改成具体的某台Real Server,端口也改成Real Server的端口&＃xff0c;然后把报文发给Real Server。Real Server处理完数据后&＃xff0c;需要返回给Diretor Server&＃xff0c;然后Diretor server将数据包中的源地址和源端口改成VIP的地址和端口&＃xff0c;最后把数据发送出去。由此可以看出&＃xff0c;用户的请求和返回都要经过Diretor Server&＃xff0c;如果数据过多&＃xff0c;Diretor Server肯定会不堪重负。

&＃xff08;2&＃xff09;VS/TUN隧道模式

VS/TUN&＃xff08;Virtual Server via IP Tunneling&＃xff09;,即IP隧道技术实现虚拟服务器。它跟VS/NAT基本一样&＃xff0c;但是Real server是直接返回数据给客户端&＃xff0c;不需要经过Diretor server,这大大降低了Diretor server的压力。

&＃xff08;3&＃xff09;VS/DR直接路由模式

VS/DR&＃xff08;Virtual Server via Direct Routing&＃xff09;&＃xff0c;即用直接路由技术实现虚拟服务器。跟前面两种方式&＃xff0c;它的报文转发方法有所不同&＃xff0c;VS/DR通过改写请求报文的MAC地址&＃xff0c;将请求发送到Real Server&＃xff0c;而Real Server将响应直接返回给客户&＃xff0c;免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的&＃xff0c;但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。

&＃xff08;4&＃xff09;fullNAT模式

fullnat模式和nat模式相似&＃xff0c;但是与nat不同的是nat模式只做了两次地址转换&＃xff0c;fullnat模式却做了四次。fullNAT需要转化访问来源&＃xff0c;访问目的ip需要编译内核&＃xff0c;导致了效率的低下。

5. 十种调度算法

LVS负载均衡调度算法主要有轮询调度&＃xff08;rr&＃xff09;、加权轮询调度&＃xff08;wrr&＃xff09;、最小连接调度&＃xff08;lc&＃xff09;、加权最小连接调度&＃xff08;wlc&＃xff09;、基于局部的最少连接&＃xff08;lblc&＃xff09;、带复制的基于局部性的最少连接&＃xff08;lblcr&＃xff09;、目标地址散列调度&＃xff08;dh&＃xff09;、源地址散列调度U&＃xff08;sh&＃xff09;、最短的期望的延迟&＃xff08;sed&＃xff09;、最少队列调度&＃xff08;nq&＃xff09;

二、LVS中DR模式的部署

实验准备&＃xff1a;

• 一台lvs调度器server1&＃xff08;安装ipvsadm&＃xff09;172.25.65.1
• 两台后端服务器&＃xff08;安装httpd&＃xff09;server2&＃xff08;172.25.65.2&＃xff09;和server3&＃xff08;172.25.65.3&＃xff09;
• 一台测试机

server1&＃xff1a;

yum install -y ipvsadm
vim /etc/sysconfig/ipvsadm-config #修改为重启服务后写入策略
touch /etc/sysconfig/ipvsadm
systemctl start ipvsadm

开启服务时&＃xff0c;会报错&＃xff0c;我们查看日志文件&＃xff0c;找出错误。在开启服务之前&＃xff0c;我们需要创建一个文件&＃xff0c;服务会自动识别该服务&＃xff0c;识别不到则会报错。

在lvs中添加策略&＃xff0c;指定实现负载均衡的模式为DR直接路由模式&＃xff0c;在添加过程中要注意的是&＃xff0c;添加的策略要在服务重启后才能被写入&＃xff0c;之前在ipvsdam-config配置文件中已经设置过了。

ipvsadm -A -t 172.25.65.100:80 -s rr #添加虚拟lvs的策略为轮询
ipvsadm -a -t 172.25.65.100:80 -r 172.25.65.2:80 -g #添加后端服务器
ipvsadm -a -t 172.25.65.100:80 -r 172.25.65.3:80 -g
#其中&＃xff0c;-A&＃xff1a;添加虚拟服务 -t&＃xff1a;tcp -s&＃xff1a;调度方式 -a&＃xff1a;添加真实服务器 -r&＃xff1a;真实服务器的ip -g&＃xff1a;直接路由模式dr
ipvsadm -ln #不解析&＃xff0c;查看策略
cat /etc/sysconfig/ipvsadm #查看策略文件

在调度器中添加vip&＃xff08;用户请求的入口ip&＃xff09;

server2和server3同时进行如下操作

yum install httpd -y
vim /var/www/html/index.html
systemctl restart httpd
ip addr add 172.25.65.100/24 dev eth0 #添加ip

测试机进行测试

curl 172.25.31.100 #测试网页
arp -an | grep 100 #查看该主机所访问到的mac地址
arp -d 172.25.31.100 #清除mac信息

我们会发现开始访问时&＃xff0c;客户端一至访问的是server2的内容&＃xff0c;没有进行轮询&＃xff0c;那是因为lvs和两个后端服务器的vip均相同&＃xff0c;客户端会直接请求后端服务器&＃xff0c;而不经过lvs调度器&＃xff0c;这样的情况是不允许的。而后通过mac地址的清理&＃xff0c;页面的内容发生了改变&＃xff0c;但这样的操作也不能实现我们的负载均衡目的&＃xff0c;为此我们需要对后端服务器进行如下操作&＃xff0c;使它不接收直接来自客户端的请求&＃xff0c;以实现客户端访问lvs&＃xff0c;lvs进行访问请求的分配。

server2和server3中同时进行如下操作

yum install -y arptables
arptables -A INPUT -d 172.25.65.100 -j DROP #将访问100的包丢弃
arptables -A OUTPUT -s 172.25.65.100 -j mangle --mangle-ip-s 172.25.65.2 #回包
# -d&＃xff1a;目的ip -A&＃xff1a;添加 -s&＃xff1a;源地址 -j&＃xff1a;动作
arptables -nL #查看策略是否写入
arptables-save > /etc/sysconfig/arptables #将策略写入文件
cat /etc/sysconfig/arptables #该文件存放策略
systemctl start arptablescat #必须先将策略存入文件&＃xff0c;在开启&＃xff0c;未存入&＃xff0c;启动后策略会丢失
arptables -F #清除策略

测试机进行测试

curl 172.25.65.100

客户端发出请求&＃xff0c;lvs调度器会接收该请求&＃xff0c;并根据调度器中所写的策略&＃xff0c;将客户请求分别发送到后端服务器上&＃xff0c;以实现负载均衡。