LVS初步

LVS初步

一见

目录 1

1. 前言 2

2. 思考 2

3. 名词解释 2

4. OSI参考模型 3

5. LVS架构 4

5.1. 负载均衡器&＃xff08;Load Balancer&＃xff09; 4

5.2. 服务器集群&＃xff08;Server Cluster&＃xff09; 4

5.3. 后端存储&＃xff08;Storage&＃xff09; 5

6. 区别 5

6.1. 包层次关系 5

6.2. IP包头结构 6

6.3. TCP包头结构 6

6.4. LVS/DR 7

6.5. LVS/NAT 7

6.6. LVS/TUN 8

7. 配置 8

7.1. LVS/DR配置 8

7.1.1. 配置Director 8

7.1.2. 配置RS 9

7.2. LVS/NAT配置 10

7.2.1. 配置Director 10

7.2.2. 配置RS 10

7.3. LVS/TUN配置 10

7.3.1. 配置Director 10

7.3.2. 配置RS 11

8. ipvsadm 11

很多人知道LVS&＃xff0c;但可能知之不多&＃xff0c;希望阅读本文后&＃xff0c;能够对LVS有一个基本的感性认识。

LVS是国内最早出现的自由软件之一&＃xff0c;由国防科技大学章文嵩博士在1998年5月创立&＃xff0c;章博士目前是淘宝网高级研究员&＃xff0c;是淘宝网核心系统负责人。

LVS首要的是解决路由问题&＃xff0c;结果不但解决了耦合问题&＃xff0c;实现了网络隔离&＃xff0c;而且顺带实现了负载均衡&＃xff0c;负载均衡复杂的地方在于不同的均衡策略。常常均衡和路由成对出现&＃xff0c;象分布式中的一致性哈希&＃xff0c;也是路由和均衡&＃xff0c;实际上还达到了容灾的效果&＃xff0c;可以说是一举多得。

一个数据包&＃xff0c;是如何从一个机器达到另一个机器的&＃xff1f;两个机器可以连接在同一个交换机上&＃xff1b;也可以挂在不同的交换机上&＃xff1b;甚至可能一个在内网&＃xff0c;另一个在外网。

抓包工具tcpdump、Wireshark和Sniffer等是如何工作的&＃xff1f;Linux内核中的Netfilter原理是什么&＃xff1f;最好可以&＃xff0c;动手写一个基于RAW SOCKET的抓包工具&＃xff0c;按IP、TCP/UDP格式解析&＃xff0c;并以可视化方式展现出来&＃xff0c;甚至可以进一步解析诸于HTTP之类的。

下表中&＃xff0c;蓝色字体部分是最基础的名词&＃xff0c;其它可最后反过来再细读&＃xff1a;

5.1. 负载均衡器&＃xff08;Load Balancer&＃xff09;

它是整个集群对外面的前端机&＃xff0c;负责将Client的请求发送到一组服务器上执行&＃xff0c;而Client认为服务是来自一个IP地址上的。它可以是用IP负载均衡技术的负载均衡器&＃xff0c;也可以是基于内容请求分发的负载均衡器&＃xff0c;还可以是两者的结合。

5.2. 服务器集群&＃xff08;Server Cluster&＃xff09;

是一组真正执行Client请求的服务器&＃xff0c;执行的服务有WEB、MAIL、FTP和DNS等。

5.3. 后端存储&＃xff08;Storage&＃xff09;

它为服务器集群提供一个共享的存储区&＃xff0c;这样很容易使得服务器集群拥有相同的内容&＃xff0c;以便提供相同的服务。

DR特点导致它不能跨LAN&＃xff0c;这个比较容易理解。

在IP处理上&＃xff0c;NAT是修改&＃xff0c;而TUN是新增&＃xff0c;后者可跨LAN&＃xff0c;为何NAT不行&＃xff1f;要理解这一点&＃xff0c;只需要知道响应是怎么回去的就明白了。

6.1. 包层次关系

6.2. IP包头结构

6.3. TCP包头结构

6.4. LVS/DR

6.5. LVS/NAT

从下图&＃xff0c;可以看出NAT模式只需要一个公网IP&＃xff1a;

6.6. LVS/TUN

7.1. LVS/DR配置

7.1.1. 配置Director

在Diector机器上完成下列所有操作&＃xff1a;

1) 为Director配置VIP&＃xff0c;此IP用于对外提供服务&＃xff1a;

#ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

上述操作&＃xff0c;在eth0上绑定了一个虚拟设备eth0:0&＃xff0c;同时设置VIP为192.168.1.100。

2) 指定eth0:0的路由&＃xff1a;

#route add -host 192.168.1.100 dev eth0:0

3) 开启包转发&＃xff0c;让Director充当路由器角色&＃xff1a;

#echo 1 > /proc/sys/net/ipv4/ip_forward

注意&＃xff0c;对于DR&＃xff0c;开启包转发不是必须的&＃xff0c;但对于NAT是必须的。

4) 接下来&＃xff0c;配置ipvs&＃xff0c;执行以下操作&＃xff1a;

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr -p 600

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -g

上面&＃xff0c;第一行是清除内核中的虚拟服务器列表中的所有记录&＃xff1b;第二行是添加一条新的VIP记录&＃xff0c;这个新的VIP是192.168.1.100&＃xff0c;同时指定它的持续服务时间为600秒&＃xff1b;第三和第四行&＃xff0c;是在VIP记录中添加两条RS记录&＃xff0c;并且指定LVS的工作模式为DR。

5) 至此&＃xff0c;配置完成&＃xff0c;即可启动LVS服务&＃xff1a;

#ipvsadm

7.1.2. 配置RS

在DR和TUN两种工作模式下&＃xff0c;请求达到RS后&＃xff0c;响应直接返回给Client&＃xff0c;而不经过Director。因此&＃xff0c;需要在每个RS上配置VIP&＃xff0c;这个VIP和Director上的相同&＃xff0c;这样数据才能直接返回给Client。

在所有RS机器上分别完成下列所有操作&＃xff1a;

1) 配置VIP&＃xff1a;

#ifconfig lo:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) 指定lo:0的路由&＃xff1a;

#route add -host 192.168.1.100 dev lo:0

3) 禁止本机的ARP请求&＃xff1a;

①　echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

②　echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

③　echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

④　echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

Ø arp_ignore

定义响应ARP请求的策略&＃xff1a;

Ø arp_announce

定义响应ARP请求的限制&＃xff1a;

4) 为使禁止ARP请求生效&＃xff0c;执行&＃xff1a;

#sysctl -p

由于VIP是Director和所有RS共享的&＃xff0c;如果不禁止&＃xff0c;产生ARP请求时&＃xff0c;会导致Director和所有RS都应答&＃xff0c;从而产生冲突&＃xff0c;因此需要禁止RS响应ARP请求。

7.2. LVS/NAT配置

7.2.1. 配置Director

在Diector机器上完成下列所有操作&＃xff1a;

1) #ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) #echo 1 > /proc/sys/net/ipv4/ip_forward

3) 接下来&＃xff0c;配置ipvs&＃xff0c;执行以下操作&＃xff1a;

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -m

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -m

4) 至此&＃xff0c;配置完成&＃xff0c;即可启动LVS服务&＃xff1a;

#ipvsadm

7.2.2. 配置RS

在所有RS机器上分别完成下列所有操作&＃xff1a;

1) 配置默认网关为Director&＃xff0c;以保证数据可从Director返回&＃xff1a;

#route add default gw 192.168.1.100

7.3. LVS/TUN配置

7.3.1. 配置Director

在Diector机器上完成下列所有操作&＃xff1a;

1) 设置tunl0&＃xff08;隧道网卡&＃xff09;的IP为VIP&＃xff1a;

#ifconfig tunl0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up

2) 指定tunl0的路由&＃xff1a;

#route add -host 192.168.1.100 dev tunl0

3) 接下来&＃xff0c;配置ipvs&＃xff0c;执行以下操作&＃xff1a;

①　#ipvsadm -C

②　#ipvsadm -A -t 192.168.1.100:80 -s rr

③　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -i

④　#ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -i

4) 至此&＃xff0c;配置完成&＃xff0c;即可启动LVS服务&＃xff1a;

#ipvsadm

7.3.2. 配置RS

在所有RS机器上分别完成下列所有操作&＃xff1a;

1) #ifconfig tunl0 192.168.1.100 netmask 255.255.255.255 up

2) route add -host 192.168.1.100 dev tunl0

3) 禁止本机的ARP请求&＃xff1a;

①　echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

②　echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

③　echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

④　echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

4) 为使禁止ARP请求生效&＃xff0c;执行&＃xff1a;

#sysctl -p