LVS集群系统网络核心原理分析*******************************

Internet的快速增长使多媒体网络服务器面对的访问数量快速增加&＃xff0c;服务器需要具备提供大量并发访问服务的能力&＃xff0c;因此对于大负载的服务器来讲&＃xff0c; CPU、I/O处理能力很快会成为瓶颈。由于单台服务器的性能总是有限的&＃xff0c;简单的提高硬件性能并不能真正解决这个问题。为此&＃xff0c;必须采用多服务器和负载均衡技术才能满足大量并发访问的需要。Linux 虚拟服务器(Linux Virtual Servers,LVS) 使用负载均衡技术将多台服务器组成一个虚拟服务器。它为适应快速增长的网络访问需求提供了一个负载能力易于扩展&＃xff0c;而价格低廉的解决方案。

　　1、LVS结构与工作原理

　　LVS由前端的负载均衡器(Load Balancer&＃xff0c;LB)和后端的真实服务器(Real Server&＃xff0c;RS)群组成。RS间可通过局域网或广域网连接。LVS的这种结构对用户是透明的&＃xff0c;用户只能看见一台作为LB的虚拟服务器(Virtual Server)&＃xff0c;而看不到提供服务的RS群。

　　当用户的请求发往虚拟服务器&＃xff0c;LB根据设定的包转发策略和负载均衡调度算法将用户请求转发给RS。RS再将用户请求结果返回给用户。同请求包一样&＃xff0c;应答包的返回方式也与包转发策略有关。

　　LVS的包转发策略有三种&＃xff1a;

NAT (Network Address Translation)模式。LB收到用户请求包后&＃xff0c;LB将请求包中虚拟服务器的IP地址转换为某个选定RS的IP地址&＃xff0c;转发给RS&＃xff1b;RS将应答包发给LB&＃xff0c;LB将应答包中RS的IP转为虚拟服务器的IP地址&＃xff0c;回送给用户。
IP隧道 (IP Tunneling)模式。LB收到用户请求包后&＃xff0c;根据IP隧道协议封装该包&＃xff0c;然后传给某个选定的RS&＃xff1b;RS解出请求信息&＃xff0c;直接将应答内容传给用户。此时要求RS和LB都要支持IP隧道协议。
DR(Direct Routing)模式。LB收到请求包后&＃xff0c;将请求包中目标MAC地址转换为某个选定RS的MAC地址后将包转发出去&＃xff0c;RS收到请求包后 ,可直接将应答内容传给用户。此时要求LB和所有RS都必须在一个物理段内,且LB与RS群共享一个虚拟IP。

　　2、IPVS软件结构与实现

　　LVS软件的核心是运行在LB上的IPVS&＃xff0c;它使用基于IP层的负载均衡方法。IPVS的总体结构主要由IP包处理、负载均衡算法、系统配置与管理三个模块及虚拟服务器与真实服务器链表组成。

　　2.1 LVS对 IP包的处理模式

　　IP包处理用Linux 2.4内核的Netfilter框架完成。一个数据包通过Netfilter框架的过程如图所示&＃xff1a;

　　通俗的说&＃xff0c;netfilter的架构就是在整个网络流程的若干位置放置了一些检测点&＃xff08;HOOK&＃xff09;&＃xff0c;而在每个检测点上上登记了一些处理函数进行处理&＃xff08;如包过滤&＃xff0c;NAT等&＃xff0c;甚至可以是用户自定义的功能&＃xff09;。

NF_IP_PRE_ROUTING&＃xff1a;刚刚进入网络层的数据包通过此点&＃xff08;刚刚进行完版本号&＃xff0c;校验和等检测&＃xff09;&＃xff0c;源地址转换在此点进行&＃xff1b;
NF_IP_LOCAL_IN&＃xff1a;经路由查找后&＃xff0c;送往本机的通过此检查点,INPUT包过滤在此点进行&＃xff1b;
NF_IP_FORWARD&＃xff1a;要转发的包通过此检测点,FORWORD包过滤在此点进行&＃xff1b;
NF_IP_LOCAL_OUT&＃xff1a;本机进程发出的包通过此检测点&＃xff0c;OUTPUT包过滤在此点进行&＃xff1b;
NF_IP_POST_ROUTING&＃xff1a;所有马上便要通过网络设备出去的包通过此检测点&＃xff0c;内置的目的地址转换功能&＃xff08;包括地址伪装&＃xff09;在此点进行。

　　在IP层代码中&＃xff0c;有一些带有NF_HOOK宏的语句&＃xff0c;如IP的转发函数中有&＃xff1a;

NF_HOOK(PF_INET, NF_IP_FORWARD, skb, skb->dev, dev2,ip_forward_finish);
//其中NF_HOOK宏的定义基本如下&＃xff1a;

#ifdef CONFIG_NETFILTER
#define NF_HOOK(pf, hook, skb, indev, outdev, okfn)
(list_empty(&nf_hooks[(pf)][(hook)])
? (okfn)(skb)
: nf_hook_slow((pf), (hook), (skb), (indev), (outdev), (okfn)))
#else /* !CONFIG_NETFILTER */
#define NF_HOOK(pf, hook, skb, indev, outdev, okfn) (okfn)(skb)
#endif /*CONFIG_NETFILTER*/

　　如果在编译内核时没有配置netfilter时&＃xff0c;就相当于调用最后一个参数&＃xff0c;此例中即执行ip_forward_finish函数&＃xff1b;否则进入HOOK 点&＃xff0c;执行通过nf_register_hook&＃xff08;&＃xff09;登记的功能&＃xff08;这句话表达的可能比较含糊&＃xff0c;实际是进入nf_hook_slow&＃xff08;&＃xff09;函数&＃xff0c;再由它执行登记的函数&＃xff09;。

　　NF_HOOK宏的参数分别为&＃xff1a;

pf&＃xff1a;协议族名&＃xff0c;netfilter架构同样可以用于IP层之外&＃xff0c;因此这个变量还可以有诸如PF_INET6&＃xff0c;PF_DECnet等名字。
hook&＃xff1a;HOOK点的名字&＃xff0c;对于IP层&＃xff0c;就是取上面的五个值&＃xff1b;
skb&＃xff1a;顾名思义
indev&＃xff1a;进来的设备&＃xff0c;以struct net_device结构表示&＃xff1b;
outdev&＃xff1a;出去的设备&＃xff0c;以struct net_device结构表示&＃xff1b;
okfn:是个函数指针&＃xff0c;当所有的该HOOK点的所有登记函数调用完后&＃xff0c;转而走此流程。

　　这些点是已经在内核中定义好的&＃xff0c;除非你是这部分内核代码的维护者&＃xff0c;否则无权增加或修改&＃xff0c;而在此检测点进行的处理&＃xff0c;则可由用户指定。像packet filter,NAT,connection track这些功能&＃xff0c;也是以这种方式提供的。正如netfilter的当初的设计目标&＃xff0d;&＃xff0d;提供一个完善灵活的框架&＃xff0c;为扩展功能提供方便。

　　如果我们想加入自己的代码,便要用nf_register_hook函数&＃xff0c;其函数原型为&＃xff1a;

int nf_register_hook(struct nf_hook_ops *reg)
struct nf_hook_ops&＃xff1a;//结构
struct nf_hook_ops
{
struct list_head list;
/* User fills in from here down. */
nf_hookfn *hook;
int pf;
int hooknum;
/* Hooks are ordered in ascending priority. */
int priority;
};

　　其实&＃xff0c;类似LVS的做法就是生成一个struct nf_hook_ops结构的实例&＃xff0c;并用nf_register_hook将其HOOK上。其中list项要初始化为{NULL,NULL}&＃xff1b;由于一般在 IP层工作&＃xff0c;pf总是PF_INET&＃xff1b;hooknum就是HOOK点;一个HOOK点可能挂多个处理函数&＃xff0c;谁先谁后&＃xff0c;便要看优先级&＃xff0c;即priority的指定了。netfilter_ipv4.h中用一个枚举类型指定了内置的处理函数的优先级&＃xff1a;

enum nf_ip_hook_priorities {
NF_IP_PRI_FIRST &＃61; INT_MIN,
NF_IP_PRI_CONNTRACK &＃61; -200,
NF_IP_PRI_MANGLE &＃61; -150,
NF_IP_PRI_NAT_DST &＃61; -100,
NF_IP_PRI_FILTER &＃61; 0,
NF_IP_PRI_NAT_SRC &＃61; 100,
NF_IP_PRI_LAST &＃61; INT_MAX,
};

　　hook是提供的处理函数&＃xff0c;也就是我们的主要工作&＃xff0c;其原型为&＃xff1a;

unsigned int nf_hookfn(unsigned int hooknum,
struct sk_buff **skb,
const struct net_device *in,
const struct net_device *out,
int (*okfn)(struct sk_buff *));

　　它的五个参数将由NFHOOK宏传进去。

　　以上是NetFillter编写自己模块时的一些基本用法&＃xff0c;接下来&＃xff0c;我们来看一下LVS中是如何实现的。

　　3、LVS中Netfiler的实现

　　利用Netfilter&＃xff0c;LVS处理数据报从左边进入系统&＃xff0c;进行IP校验以后&＃xff0c;数据报经过第一个钩子函数NF_IP_PRE_ROUTING [HOOK1]进行处理&＃xff1b;然后进行路由选择&＃xff0c;决定该数据报是需要转发还是发给本机&＃xff1b;若该数据报是发被本机的&＃xff0c;则该数据经过钩子函数 NF_IP_LOCAL_IN[HOOK2]处理后传递给上层协议&＃xff1b;若该数据报应该被转发&＃xff0c;则它被NF_IP_FORWARD[HOOK3]处理&＃xff1b;经过转发的数据报经过最后一个钩子函数NF_IP_POST_ROUTING[HOOK4]处理以后&＃xff0c;再传输到网络上。本地产生的数据经过钩子函数 NF_IP_LOCAL_OUT[HOOK5]处理后&＃xff0c;进行路由选择处理&＃xff0c;然后经过NF_IP_POST_ROUTING[HOOK4]处理后发送到网络上。

　　当启动IPVS加载ip_vs模块时&＃xff0c;模块的初始化函数ip_vs_init( )注册了NF_IP_LOCAL_IN[HOOK2]、NF_IP_FORWARD[HOOK3]、NF_IP_POST_ROUTING[HOOK4] 钩子函数用于处理进出的数据报。

　　3.1 NF_IP_LOCAL_IN处理过程

　　用户向虚拟服务器发起请求&＃xff0c;数据报经过NF_IP_LOCAL_IN[HOOK2],进入ip_vs_in( )进行处理。如果传入的是icmp数据报&＃xff0c;则调用ip_vs_in_icmp( )&＃xff1b;否则继续判断是否为tcp/udp数据报&＃xff0c;如果不是tcp/udp数据报&＃xff0c;则函数返回NF_ACCEPT(让内核继续处理该数据报)&＃xff1b;余下情况便是处理tcp/udp数据报。首先&＃xff0c;调用ip_vs_header_check( )检查报头&＃xff0c;如果异常&＃xff0c;则函数返回NF_DROP(丢弃该数据报)。接着&＃xff0c;调用ip_vs_conn_in_get( )去ip_vs_conn_tab表中查找是否存在这样的连接&＃xff1a;它的客户机和虚拟服务器的ip地址和端口号以及协议类型均与数据报中的相应信息一致。如果不存在相应连接&＃xff0c;则意味着连接尚未建立&＃xff0c;此时如果数据报为tcp的sync报文或udp数据报则查找相应的虚拟服务器&＃xff1b;如果相应虚拟服务器存在但是已经满负荷&＃xff0c;则返回NF_DROP&＃xff1b;如果相应虚拟服务器存在并且未满负荷&＃xff0c;那么调用ip_vs_schedule( )调度一个RS并创建一个新的连接&＃xff0c;如果调度失败则调用ip_vs_leave( )继续传递或者丢弃数据报。如果存在相应连接&＃xff0c;首先判断连接上的RS是否可用&＃xff0c;如果不可用则处理相关信息后返回NF_DROP。找到已存在的连接或建立新的连接后&＃xff0c;修改系统记录的相关信息如传入的数据报的个数等。如果这个连接在创建时绑定了特定的数据报传输函数&＃xff0c;调用这个函数传输数据报&＃xff0c;否则返回 NF_ACCEPT。

　　ip_vs_in()调用的ip_vs_in_icmp( )处理icmp报文。函数开始时检查数据报的长度&＃xff0c;如果异常则返回NF_DROP。函数只处理由tcp/udp报文传送错误引起的目的不可达、源端被关闭或超时的icmp报文&＃xff0c;其他情况则让内核处理。针对上述三类报文&＃xff0c;首先检查检验和。如果检验和错误&＃xff0c;直接返回NF_DROP&＃xff1b;否则&＃xff0c;分析返回的icmp差错信息&＃xff0c;查找相应的连接是否存在。如果连接不存在&＃xff0c;返回NF_ACCEPT&＃xff1b;如果连接存在&＃xff0c;根据连接信息&＃xff0c;依次修改差错信息包头的ip地址与端口号及 ICMP数据报包头的ip地址&＃xff0c;并重新计算和修改各个包头中的检验和&＃xff0c;之后查找路由调用ip_send( )发送修改过的数据报&＃xff0c;并返回NF_STOLEN(退出数据报的处理过程)。

　　ip_vs_in()调用的函数ip_vs_schedule( )为虚拟服务器调度可用的RS并建立相应连接。它将根据虚拟服务器绑定的调度算法分配一个RS&＃xff0c;如果成功&＃xff0c;则调用ip_vs_conn_new( )建立连接。ip_vs_conn_new( )将进行一系列初始化操作&＃xff1a;设置连接的协议、ip地址、端口号、协议超时信息&＃xff0c;绑定application helper、RS和数据报传输函数&＃xff0c;最后调用ip_vs_conn_hash( )将这个连接插入哈希表ip_vs_conn_tab中。一个连接绑定的数据报传输函数&＃xff0c;依据IPVS工作方式可分为ip_vs_nat_xmit( )、ip_vs_tunnel_xmit( )、ip_vs_dr_xmit( )。例如ip_vs_nat_xmit( )的主要操作是&＃xff1a;修改报文的目的地址和目的端口为RS信息&＃xff0c;重新计算并设置检验和&＃xff0c;调用ip_send( )发送修改后的数据报。

　　3.2 NF_IP_FORWARD处理过程

　　数据报进入NF_IP_FORWARD后&＃xff0c;将进入ip_vs_out( )进行处理。这个函数只在NAT方式下被调用。它首先判断数据报类型&＃xff0c;如果为icmp数据报则直接调用ip_vs_out_icmp( )&＃xff1b;其次判断是否为tcp/udp数据报&＃xff0c;如果不是这二者则返回NF_ACCEPT。余下就是tcp/udp数据报的处理。首先&＃xff0c;调用 ip_vs_header_check( )检查报头&＃xff0c;如果异常则返回NF_DROP。其次&＃xff0c;调用ip_vs_conn_out_get( )判断是否存在相应的连接。若不存在相应连接&＃xff1a;调用ip_vs_lookup_real_service( )去哈希表中查找发送数据报的RS是否仍然存在&＃xff0c;如果RS存在且报文是tcp非复位报文或udp 报文&＃xff0c;则调用icmp_send( )给RS发送目的不可达icmp报文并返回NF_STOLEN&＃xff1b;其余情况下均返回NF_ACCEPT。若存在相应连接&＃xff1a;检查数据报的检验和&＃xff0c;如果错误则返回NF_DROP&＃xff0c;如果正确&＃xff0c;修改数据报&＃xff0c;将源地址修改为虚拟服务器ip地址&＃xff0c;源端口修改为虚拟服务器端口号&＃xff0c;重新计算并设置检验和&＃xff0c;并返回 NF_ACCEPT。

　　ip_vs_out_icmp( )的流程与ip_vs_in_icmp( )类似&＃xff0c;只是修改数据报时有所区别&＃xff1a;ip报头的源地址和差错信息中udp或tcp报头的目的地址均修改为虚拟服务器地址&＃xff0c;差错信息中udp或tcp报头的目的端口号修改为虚拟服务器的端口号。

　　3.3 NF_IP_POST_ROUTING处理过程

　　NF_IP_POST_ROUTING钩子函数只在NAT方式下使用。数据报进入NF_IP_POST_ROUTING后,由 ip_vs_post_routing( )进行处理。它首先判断数据报是否经过IPVS&＃xff0c;如果未经过则返回NF_ACCEPT&＃xff1b;否则立刻传输数据报&＃xff0c;函数返回NF_STOLEN&＃xff0c;防止数据报被 iptable的规则修改。
　　4、LVS系统配置与管理

　　IPVS模块初始化时注册了setsockopt/getsockopt( )&＃xff0c;ipvsadm命令调用这两个函数向IPVS内核模块传递ip_vs_rule_user结构的系统配置数据&＃xff0c;完成系统的配置&＃xff0c;实现虚拟服务器和RS 地址的添加、修改、删除操作。系统通过这些操作完成对虚拟服务器和RS链表的管理。

　　虚拟服务器的添加操作由ip_vs_add_service( )完成&＃xff0c;该函数根据哈希算法向虚拟服务器哈希表添加一个新的节点&＃xff0c;查找用户设定的调度算法并将此算法绑定到该节点&＃xff1b;虚拟服务器的修改由 ip_vs_edit_service( )完成&＃xff0c;此函数修改指定服务器的调度算法&＃xff1b;虚拟服务器的删除由ip_vs_del_service( )完成&＃xff0c;在删除一个虚拟服务器之前&＃xff0c;必须先删除此虚拟服务器所带的所有RS&＃xff0c;并解除虚拟服务器所绑定的调度算法。

　　与之类似&＃xff0c;RS的添加、修改、删除操作分别由ip_vs_add_dest( )、ip_vs_edit_dest( )和ip_vs_edit_server( )完成。

　　5、负载均衡调度算法

　　前面已经提到&＃xff0c;用户在添加一个虚拟服务时要绑定调度算法&＃xff0c;这由ip_vs_bind_scheduler( )完成&＃xff0c;调度算法的查找则由ip_vs_scheduler_get( )完成。ip_vs_scheduler_get( )根据调度算法的名字&＃xff0c;调用ip_vs_sched_getbyname( )从调度算法队列中查找此调度算法&＃xff0c;如果没找到则加载相应调度算法模块再查找&＃xff0c;最后返回查找结果。

目前系统有八种负载均衡调度算法&＃xff0c;具体如下:

rr&＃xff1a;轮循调度(Round-Robin) 它将请求依次分配不同的RS&＃xff0c;也就是在RS中均摊请求。这种算法简单&＃xff0c;但是只适合于RS处理性能相差不大的情况。
wrr&＃xff1a;加权轮循调度(Weighted Round-Robin) 它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务&＃xff0c;并且分配到的连接数将比权值较低的RS更多。相同权值的RS得到相同数目的连接数。
dh&＃xff1a;目的地址哈希调度 (Destination Hashing) 以目的地址为关键字查找一个静态hash表来获得需要的RS。
sh&＃xff1a;源地址哈希调度(Source Hashing) 以源地址为关键字查找一个静态hash表来获得需要的RS。
Lc&＃xff1a;最小连接数调度(Least-Connection) IPVS表存储了所有的活动的连接。把新的连接请求发送到当前连接数最小的RS。
Wlc&＃xff1a;加权最小连接数调度(Weighted Least-Connection) 假设各台RS的权值依次为Wi&＃xff08;I &＃61; 1..n&＃xff09;&＃xff0c;当前的TCP连接数依次为Ti&＃xff08;I&＃xff1d;1..n&＃xff09;&＃xff0c;依次选取Ti/Wi为最小的RS作为下一个分配的RS。
Lblc&＃xff1a;基于地址的最小连接数调度(Locality-Based Least-Connection) 将来自同一目的地址的请求分配给同一台RS如果这台服务器尚未满负荷&＃xff0c;否则分配给连接数最小的RS&＃xff0c;并以它为下一次分配的首先考虑。
Lblcr&＃xff1a;基于地址的带重复最小连接数调度(Locality-Based Least-Connection with Replication) 对于某一目的地址&＃xff0c;对应有一个RS子集。对此地址的请求&＃xff0c;为它分配子集中连接数最小的RS&＃xff1b;如果子集中所有的服务器均已满负荷&＃xff0c;则从集群中选择一个连接数较小的服务器&＃xff0c;将它加入到此子集并分配连接&＃xff1b;若一定时间内&＃xff0c;这个子集未被做任何修改&＃xff0c;则将子集中负载最大的节点从子集删除。