Overlay技术之VXLAN详解（二）

一、VXLAN的基础概念

图1 VXLAN转发模型

看图我们可以看到出现了几个传统网络中并没有的元素&＃xff1a;
1、VTEP&＃xff08;VXLAN Tunnel Endpoints&＃xff0c;VXLAN隧道端点&＃xff09;
VTEP是VXLAN隧道端点&＃xff0c;封装在NVE中&＃xff0c;用于VXLAN报文的封装和解封装。
VTEP是在Underlay网络创建的&＃xff0c;是一个IP地址&＃xff0c;一般是Loopback地址。
VXLAN报文中源IP地址为本节点的VTEP地址&＃xff0c;VXLAN报文中目的IP地址为对端节点的VTEP地址&＃xff0c;一对VTEP地址就对应着一个VXLAN隧道。

2、VNI&＃xff08;VXLAN Network Identifier&＃xff0c;VXLAN 网络标识符&＃xff09;
VXLAN网络标识VNI类似VLAN ID&＃xff0c;用于区分VXLAN段&＃xff0c;不同VXLAN段的虚拟机不能直接二层相互通信。
一个VNI表示一个租户&＃xff0c;即使多个终端用户属于同一个VNI&＃xff0c;也表示一个租户。VNI由24比特组成&＃xff0c;支持多达16M的租户。
在分布式网关部署场景下&＃xff0c;VNI分为二层VNI和三层VNI&＃xff1a;
二层VNI是普通的VNI&＃xff0c;以1&＃xff1a;1方式映射到广播域BD&＃xff0c;实现VXLAN报文同子网的转发。
三层VNI和VPN实例进行关联&＃xff0c;用于VXLAN报文跨子网的转发。

3、VXLAN隧道
“隧道”是一个逻辑上的概念&＃xff0c;它并不新鲜&＃xff0c;比如大家熟悉的GRE。说白了就是将原始报文“变身”下&＃xff0c;加以“包装”&＃xff0c;好让它可以在承载网络&＃xff08;比如IP网络&＃xff09;上传输。从主机的角度看&＃xff0c;就好像原始报文的起点和终点之间&＃xff0c;有一条直通的链路一样。而这个看起来直通的链路&＃xff0c;就是“隧道”。顾名思义&＃xff0c;“VXLAN隧道”便是用来传输经过VXLAN封装的报文的&＃xff0c;它是建立在两个VTEP之间的一条虚拟通道。

二、 建立VXLAN隧道

1、 哪些VTEP间需要建立VXLAN隧道

图2-1 建立VXLAN隧道示意图

如图2-1所示&＃xff0c;网络中存在多个VTEP&＃xff0c;那么这其中哪些VTEP间需要建立VXLAN隧道呢&＃xff1f;

如前所述&＃xff0c;通过VXLAN隧道&＃xff0c;“二层域”可以突破物理上的界限&＃xff0c;实现大二层网络中VM之间的通信。所以&＃xff0c;连接在不同VTEP上的VM之间如果有“大二层”互通的需求&＃xff0c;这两个VTEP之间就需要建立VXLAN隧道。换言之&＃xff0c;同一大二层域内的VTEP之间都需要建立VXLAN隧道。

例如&＃xff0c;假设图3-1中VTEP_1连接的VM、VTEP_2连接的VM以及VTEP_3连接的VM之间需要“大二层”互通&＃xff0c;那VTEP_1、VTEP_2和VTEP_3之间就需要两两建立VXLAN隧道&＃xff0c;如图2-2所示。

图2-2 建立VXLAN隧道示意图

2、 什么是“同一大二层域”

前面提到的“同一大二层域”&＃xff0c;就类似于传统网络中VLAN&＃xff08;虚拟局域网&＃xff09;的概念&＃xff0c;只不过在VXLAN网络中&＃xff0c;它有另外一个名字&＃xff0c;叫做Bridge-Domain&＃xff0c;简称BD。

我们知道&＃xff0c;不同的VLAN是通过VLAN ID来进行区分的&＃xff0c;那不同的BD是如何进行区分的呢&＃xff1f;其实前面已经提到了&＃xff0c;就是通过VNI来区分的。对于CE系列交换机而言&＃xff0c;BD与VNI是1&＃xff1a;1的映射关系&＃xff0c;这种映射关系是通过在VTEP上配置命令行建立起来的。配置如下&＃xff1a;

bridge-domain 10 //表示创建一个“大二层广播域”BD&＃xff0c;其编号为10

vxlan vni 5000 //表示在BD 10下&＃xff0c;指定与之关联的VNI为5000

VTEP会根据以上配置生成BD与VNI的映射关系表&＃xff0c;该映射表可以通过命令行查看&＃xff0c;如下所示&＃xff1a;

有了映射表后&＃xff0c;进入VTEP的报文就可以根据自己所属的BD来确定报文封装时该添加哪个VNI。那么&＃xff0c;报文根据什么来确定自己属于哪个BD呢&＃xff1f;

3、 如何确定报文属于哪个BD

这里要先澄清下&＃xff0c;VTEP只是交换机承担的一个角色而已&＃xff0c;只是交换机功能的一部分。也就是说&＃xff0c;并非所有进入到交换机的报文都会走VXLAN隧道&＃xff08;也可能报文就是走普通的二三层转发流程&＃xff09;。所以&＃xff0c;我们在回答“如何确定报文属于哪个BD”之前&＃xff0c;必须先要回答“哪些报文要进入VXLAN隧道”。

3.1 哪些报文要进入VXLAN隧道
回答这个问题之前&＃xff0c;不妨先让我们想下VLAN技术中&＃xff0c;交换机对于接收和发送的报文是如何进行处理的。我们知道&＃xff0c;报文要进入交换机进行下一步处理&＃xff0c;首先得先过接口这一关&＃xff0c;可以说接口掌控着对报文的“生杀大权”。传统网络中定义了三种不同类型的接口&＃xff1a;Access、Trunk、Hybrid。这三种类型的接口虽然应用场景不同&＃xff0c;但他们的最终目的是一样的&＃xff1a;一是根据配置来检查哪些报文是允许通过的&＃xff1b;二是判断对检查通过的报文进行怎样的处理。

其实在VXLAN网络中&＃xff0c;VTEP上的接口也承担着类似的任务&＃xff0c;只不过在CE系列交换机中&＃xff0c;这里的接口不是物理接口&＃xff0c;而是一个叫做“二层子接口”的逻辑接口。类似的&＃xff0c;二层子接口主要做两件事&＃xff1a;一是根据配置来检查哪些报文需要进入VXLAN隧道&＃xff1b;二是判断对检查通过的报***怎样的处理。下面我们就来看下&＃xff0c;二层子接口是如何完成这两件事的。

在二层子接口上&＃xff0c;可以根据需要定义不同的流封装类型&＃xff08;类似于传统网络中不同的接口类型&＃xff09;。CE系列交换机目前支持三种不同的流封装类型&＃xff0c;分别是dot1q、untag和default&＃xff0c;它们各自对报文的处理方式如表3-1所示。有了这张表&＃xff0c;你就能明白哪些报文要进VXLAN隧道了。

表3-1 不同流封装类型的接口对报文的处理方式

注&＃xff1a; VXLAN隧道两端二层子接口的配置并不一定是完全对等的。正因为这样&＃xff0c;才可能实现属于同一网段但是不同VLAN的两个VM通过VXLAN隧道进行通信。

3.2 二层子接口加入BD

看了上面的描述&＃xff0c;再来回答“如何确定报文属于哪个BD”就非常简单了。其实&＃xff0c;只要将二层子接口加入指定的BD&＃xff0c;然后根据二层子接口上的配置&＃xff0c;就可以确定报文属于哪个BD啦&＃xff01;

比如图3-1所示的组网&＃xff0c;我们可以分别在VTEP的两个物理接口10GE 1/0/1和10GE 1/0/2上配置不同流封装类型的二层子接口并将其分别加入不同的BD。

图3-1 二层子接口加入BD

基于二层物理接口10GE 1/0/1&＃xff0c;分别创建二层子接口10GE 1/0/1.1和10GE 1/0/1.2&＃xff0c;且分别配置其流封装类型为dot1q和untag。配置如下&＃xff1a;

interface 10GE1/0/1.1 mode l2 //创建二层子接口10GE1/0/1.1

encapsulation dot1q vid 10 //只允许携带VLAN Tag 10的报文进入VXLAN隧道

bridge-domain 10 //报文进入的是BD 10

interface 10GE1/0/1.2 mode l2 //创建二层子接口10GE1/0/1.2

encapsulation untag //只允许不携带VLAN Tag的报文进入VXLAN隧道

bridge-domain 20 //报文进入的是BD 20

基于二层物理接口10GE 1/0/2&＃xff0c;创建二层子接口10GE 1/0/2.1&＃xff0c;且流封装类型为default。配置如下&＃xff1a;

interface 10GE1/0/2.1 mode l2 //创建二层子接口10GE1/0/2.1

encapsulation default //允许所有报文进入VXLAN隧道

bridge-domain 30 //报文进入的是BD 30

此时你可能会有这样的疑问&＃xff0c;为什么要在10GE 1/0/1上创建两个不同类型的子接口&＃xff1f;是否还可以继续在10GE 1/0/1上创建一个default类型的二层子接口&＃xff1f;换句话说&＃xff0c;用户应该如何选择配置哪种类型的二层子接口&＃xff1f;三种类型的二层子接口之间&＃xff0c;是否存在配置约束关系&＃xff1f;

3.3 各类型二层子接口的应用场景
我们先来解答下是否可以在10GE 1/0/1上再创建一个default类型的二层子接口。答案是不可以。其实根据表3-1的描述&＃xff0c;这一点很容易理解。因为default类型的二层子接口允许所有报文进入VXLAN隧道&＃xff0c;而dot1q和untag类型的二层子接口只允许某一类报文进入VXLAN隧道。这就决定了&＃xff0c;default类型的二层子接口跟其他两种类型的二层子接口是不可以在同一物理接口上共存的。否则&＃xff0c;报文到了接口之后如何判断要进入哪个二层子接口呢。所以&＃xff0c;default类型的子接口&＃xff0c;一般应用在经过此接口的报文均需要走同一条VXLAN隧道的场景&＃xff0c;即下挂的VM全部属于同一BD。例如&＃xff0c;图3-3中VM3和VM4均属于BD 30&＃xff0c;则10GE 1/0/2上就可以创建default类型的二层子接口。

再来看下为什么可以在10GE 1/0/1上分别创建dot1q和untag类型的二层子接口。如图3-3所示&＃xff0c;VM1和VM2分别属于VLAN 10和VLAN 20&＃xff0c;且分别属于不同的大二层域BD 10和BD 20&＃xff0c;显然他们发出的报文要进入不同的VXLAN隧道。如果VM1和VM2发出的报文在到达VTEP的10GE 1/0/1接口时&＃xff0c;一个是携带VLAN 10的Tag的&＃xff0c;一个是不携带VLAN Tag的&＃xff08;比如二层交换机上行连接VTEP的接口上配置的接口类型是Trunk&＃xff0c;允许通过的VLAN为10和20&＃xff0c;PVID为VLAN 20&＃xff09;&＃xff0c;则为了区分两种报文&＃xff0c;就必须要在10GE 1/0/1上分别创建dot1q和untag类型的二层子接口。所以&＃xff0c;当经过同一物理接口的报文既有带VLAN Tag的&＃xff0c;又有不带VLAN Tag的&＃xff0c;并且他们各自要进入不同的VXLAN隧道&＃xff0c;则可以在该物理接口上同时创建dot1q和untag类型的二层子接口。

当然&＃xff0c;现网中可能存在各种不同的组网&＃xff0c;小编也不可能一一列举出来。所以在实际应用中&＃xff0c;请务必根据组网需求&＃xff0c;结合表3-1&＃xff0c;合理规划二层子接口的流封装类型。

4、 VXLAN隧道怎么建

现在&＃xff0c;我们可以来看下VXLAN隧道是怎么建立起来的了。

一般而言&＃xff0c;隧道的建立不外乎手工方式和自动方式两种。

l 手工方式

这种方式需要用户手动指定VXLAN隧道的源和目的IP地址分别为本端和对端VTEP的IP地址&＃xff0c;也就是人为的在本端VTEP和对端VTEP之间建立静态VXLAN隧道。

对于CE系列交换机&＃xff0c;以上配置是在NVE&＃xff08;Network Virtualization Edge&＃xff09;接口下完成的。配置过程如下&＃xff1a;

interface Nve1 //创建逻辑接口NVE 1

source 1.1.1.1 //配置源VTEP的IP地址&＃xff08;推荐使用Loopback接口的IP地址&＃xff09;

vni 5000 head-end peer-list 2.2.2.2

vni 5000 head-end peer-list 2.2.2.3

其中&＃xff0c;vni 5000 head-end peer-list 2.2.2.2和vni 5000 head-end peer-list 2.2.2.3的配置&＃xff0c;表示属于VNI 5000的对端VTEP有两个&＃xff0c;IP地址分别为2.2.2.2和2.2.2.3。根据这两条配置&＃xff0c;VTEP上会生成如下所示的一张表&＃xff1a;
display vxlan vni 5000 verbose

BD ID : 10State : upNVE : 288Source : 1.1.1.1UDP Port : 4789BUM Mode : head-endGroup Address : - Peer List : 2.2.2.2 2.2.2.3


根据上表中的Peer List&＃xff0c;本端VTEP就可以知道属于同一BD&＃xff08;或同一VNI&＃xff09;的对端VTEP都有哪些&＃xff0c;这也就决定了同一大二层广播域的范围。当VTEP收到BUM&＃xff08;Broadcast&Unknown-unicast&Multicast&＃xff0c;广播&未知单播&组播&＃xff09;报文时&＃xff0c;会将报文复制并发送给Peer List中所列的所有对端VTEP&＃xff08;这就好比广播报文在VLAN内广播&＃xff09;。因此&＃xff0c;这张表也被称为“头端复制列表”。当VTEP收到已知单播报文时&＃xff0c;会根据VTEP上的MAC表来确定报文要从哪条VXLAN隧道走。而此时Peer List中所列的对端&＃xff0c;则充当了MAC表中“出接口”的角色。在后面的报文转发流程中&＃xff0c;你将会看到头端复制列表是如何在VXLAN网络中指导报文进行转发的。

l 自动方式

自动方式下VXLAN隧道的建立需要借助于其他的协议&＃xff0c;例如BGP。CE系列交换机中&＃xff0c;自动方式建立VXLAN隧道主要应用在EVN&＃xff08;Ethernet Virtual Network&＃xff09;和VXLAN的分布式网关场景中。本文不对该方式进行详细讲述&＃xff0c;具体实现可参考EVN的相关资料。

5 、如何确定报文要进哪条隧道

从前面的描述我们知道&＃xff0c;属于同一BD的VXLAN隧道可能不止一条&＃xff0c;比如前面的头端复制列表中&＃xff0c;同一个源端VTEP&＃xff08;1.1.1.1&＃xff09;对应了两个对端VTEP&＃xff08;2.2.2.2和2.2.2.3&＃xff09;。那就带来了另一个问题&＃xff0c;报文到底应该走哪一条隧道呢&＃xff1f;

我们知道&＃xff0c;基本的二三层转发中&＃xff0c;二层转发依赖的是MAC表&＃xff0c;如果没有对应的MAC表&＃xff0c;则主机发送ARP广播报文请求对端的MAC地址&＃xff1b;三层转发依赖的是FIB表。在VXLAN中&＃xff0c;其实也是同样的道理。下面就让我们来看下&＃xff0c;VXLAN网络中报文的转发流程。相信看完下面的内容&＃xff0c;关于“如何确定报文要进哪条隧道”的疑惑也就迎刃而解了。