什么是VXLAN？

虚拟机动态迁移

服务器虚拟化技术是把一台物理服务器虚拟化成多台逻辑服务器，这种逻辑服务器被称为虚拟机（VM）。通过服务器虚拟化，可以有效地提高服务器的利用率，降低能源消耗，降低运营成本，所以虚拟化技术目前得到了广泛的应用。

在服务器虚拟化后，虚拟机动态迁移变得常态化，为了保证迁移时业务不中断，就要求在虚拟机迁移时，不仅虚拟机的IP地址不变，而且虚拟机的运行状态也必须保持原状（例如TCP会话状态），所以虚拟机的动态迁移只能在同一个二层域中进行，而不能跨二层域迁移。

传统的三层网络架构限制了虚拟机的动态迁移范围，如下图所示，迁移只能在一个较小的局部范围内进行，应用受到了极大的限制。

传统的三层网络架构限制了虚拟机的动态迁移范围

为了打破这种限制，实现虚拟机的大范围甚至跨地域的动态迁移，就要求把VM迁移可能涉及的所有服务器都纳入同一个二层网络域，这样才能实现VM的大范围无障碍迁移。

众所周知，同一台二层交换机可以实现下挂服务器之间的二层通信，而且服务器从该二层交换机的一个端口迁移到另一个端口时，IP地址是可以保持不变的。这样就可以满足虚拟机动态迁移的需求了。VXLAN的设计理念和目标正是由此而来的。

VXLAN提供一套方法论，在IP网络基础上，当源和目的之间有通信需求时，便在IP网络之上创建一条虚拟的隧道，透明转发用户数据。任意两点之间都能通过VXLAN隧道来通信，忽略底层网络的结构和细节。从服务器的角度看，VXLAN为它们将整个基础网络虚拟成了一台巨大的“二层交换机”，所有服务器都连接在这台虚拟二层交换机上。而基础网络之内如何转发都是这台“巨大交换机”内部的事情，服务器完全无需关心。

VXLAN将整个基础网络虚拟成了一台巨大的“二层交换机”

基于这种“二层交换机”的模型，就很容易理解为什么VXLAN可以实现VM动态迁移了：将虚拟机从“二层交换机”的一个端口换到另一个端口，完全无需变更IP地址。

租户数量激增，要求提供一个可隔离海量租户的网络

在传统的VLAN网络中，标准定义所支持的可用VLAN数量只有4000个左右。服务器虚拟化后，一台物理服务器中承载了多台虚拟机，每个虚拟机都有独立的IP地址和MAC地址，相当于服务器成倍扩大了。例如，公有云或其它大型虚拟化云数据中心动辄需容纳上万甚至更多租户，VLAN的能力显然已经力不从心。

VXLAN如何来解决上述问题呢？VXLAN在VXLAN帧头中引入了类似VLAN ID的网络标识，称为VXLAN网络标识VNI（VXLAN Network ID），由24比特组成，理论上可支持多达16M的VXLAN段，从而满足了大规模不同租户之间的标识、隔离需求。

VXLAN中的VTEP和VNI

在介绍VXLAN隧道的建立过程前，先来了解VXLAN网络模型中一些常见的概念。如下图所示，两台服务器之间通过VXLAN网络进行通信。在两台TOR交换机之间建立了一条VXLAN隧道，TOR交换机将服务器发出的原始数据帧加以“包装”，好让原始报文可以在承载网络（比如IP网络）上传输。当到达目的服务器所连接的TOR交换机后，离开VXLAN隧道，并将原始数据帧恢复出来，继续转发给目的服务器。

VXLAN网络模型示意

VXLAN网络中出现了一些传统网络中没有的新元素，如VTEP、VNI等，它们的作用是什么呢？下面将向您介绍这几个新元素。

什么是VXLAN VTEP

VTEP（VXLAN Tunnel Endpoints，VXLAN隧道端点）是VXLAN网络的边缘设备，是VXLAN隧道的起点和终点，源服务器发出的原始数据帧，在VTEP上被封装成VXLAN格式的报文，并在IP网络中传递到另外一个VTEP上，并经过解封转还原出原始的数据帧，最后转发给目的服务器。

什么是VXLAN VNI

VNI（VXLAN Network Identifier，VXLAN 网络标识符），VNI是一种类似于VLAN ID的用户标识，一个VNI代表了一个租户，属于不同VNI的虚拟机之间不能直接进行二层通信。

VNI还可分为二层VNI和三层VNI，它们的作用不同，二层VNI是普通的VNI，用于VXLAN报文同子网的转发；三层VNI和VPN实例进行关联，用于VXLAN报文跨子网的转发。

VXLAN的网关

和VLAN类似，不同VNI之间的主机，以及VXLAN网络和非VXLAN网络中的主机不能直接相互通信。为了满足这些通信需求，VXLAN引入了VXLAN网关的概念。VXLAN网关分为二层网关和三层网关，VXLAN二层网关用于终端接入VXLAN网络，也可用于同一VXLAN网络的子网通信；VXLAN三层网关用于VXLAN网络中跨子网通信以及访问外部网络。

根据三层网关部署方式的不同，VXLAN三层网关又可以分为集中式网关和分布式网关。

VXLAN集中式网关

集中式网关是指将三层网关集中部署在一台设备上，如下图所示，所有跨子网的流量都经过这个三层网关转发，实现流量的集中管理。

VXLAN集中式网关组网图

VXLAN分布式网关

通过部署分布式网关可以解决集中式网关部署的缺点。VXLAN分布式网关是指在典型的“Spine-Leaf”组网结构下，将Leaf节点作为VXLAN隧道端点VTEP，每个Leaf节点都可作为VXLAN三层网关（同时也是VXLAN二层网关），Spine节点不感知VXLAN隧道，只作为VXLAN报文的转发节点。如下图所示，Server1和Server2不在同一个网段，但是都连接到同一个Leaf节点。Server1和Server2通信时，流量只需要在该Leaf节点上转发，不再需要经过Spine节点。

部署分布式网关时：

• Spine节点：关注于高速IP转发，强调的是设备的高速转发能力。
• Leaf节点：
  • 作为VXLAN网络中的二层网关设备，与物理服务器或VM对接，用于解决终端租户接入VXLAN虚拟网络的问题。
  • 作为VXLAN网络中的三层网关设备，进行VXLAN报文封装/解封装，实现跨子网的终端租户通信，以及外部网络的访问。

VXLAN分布式网关示意图

哪些VTEP之间需要建立VXLAN隧道

“大二层网络”可以突破物理上的界限，实现“大二层网络”中VM之间的通信，同一“大二层网络”内的VTEP之间都需要建立VXLAN隧道。如下图中VTEP_1连接的VM、VTEP_2连接的VM以及VTEP_3连接的VM之间需要“大二层”互通，那VTEP_1、VTEP_2和VTEP_3之间就需要两两建立VXLAN隧道。

建立VXLAN隧道示意图

VXLAN隧道的建立

VXLAN隧道由一对VTEP IP地址确定，创建VXLAN隧道实际上是两端VTEP获取对端VTEP IP地址的过程，只要对端VTEP IP地址是三层路由可达的，VXLAN隧道就可以建立成功。

VXLAN隧道的建立分为静态方式和动态方式两种。

静态方式没有控制平面，用户通过手动指定VXLAN隧道的源IP为本端VTEP的IP、目的IP为对端VTEP的IP，建立VXLAN隧道。静态方式手工配置工作量大，灵活性较差，不适合大规模的组网场景。

动态方式的VXLAN隧道的建立借助VXLAN EVPN协议作为VXLAN的控制平面，在两端VTEP之间建立BGP EVPN对等体，然后对等体之间利用VXLAN EVPN路由实现VTEP的自动发现、主机信息相互通告等，从而实现动态建立VXLAN隧道。数据平面则依据控制平面建立的转发表项执行报文的转发。动态方式灵活性高，适合大规模的VXLAN组网场景。

如何确定报文属于哪个VXLAN隧道

“大二层网络”就类似于传统网络中VLAN（虚拟局域网）的概念，在VXLAN网络中，不同的“大二层网络”用Bridge-Domain标识，简称BD，不同的BD通过VNI来区分的。在建立VXLAN隧道时，需要在VTEP设备上配置BD与VNI的映射关系，进入VTEP的报文根据BD与VNI的映射关系表确定报文在进行VXLAN封装时，该添加哪个VNI标识，即报文通过哪个VXLAN隧道转发。那么，报文根据什么来确定自己属于哪个BD呢？

当BUM（Broadcast&Unknown-unicast&Multicast，广播&未知单播&组播）报文进行VXLAN封装时，接入端VTEP采用头端复制方式进行报文的VXLAN封装，将报文发送给头端复制列表中的所有出端口VTEP。

如何确定报文属于哪个BD

VTEP只是设备承担的一个角色而已，只是设备功能的一部分。也就是说，并非所有进入到设备的报文都会走VXLAN隧道（也可能报文就是走普通的二三层转发流程）。所以，在回答“如何确定报文属于哪个BD”之前，必须先要回答“哪些报文要进入VXLAN隧道”。

哪些报文要进入VXLAN隧道？

回答这个问题之前，不妨先回想一下VLAN技术中，设备对于接收和发送的报文是如何进行处理的。报文要进入设备进行下一步处理，首先得先过接口这一关，可以说接口掌控着对报文的“生杀大权”。传统网络中定义了三种不同类型的接口：Access、Trunk、Hybrid。这三种类型的接口虽然应用场景不同，但它们的最终目的是一样的：一是根据配置来检查哪些报文是允许通过的；二是判断对检查通过的报文做怎样的处理。

在VXLAN网络中，VTEP上的接口也承担着类似的任务，只不过这里的接口不是物理接口，而是一个叫做“二层子接口”的逻辑接口。类似的，二层子接口主要做两件事：一是根据配置来检查哪些报文需要进入VXLAN隧道；二是判断对检查通过的报文做怎样的处理。在二层子接口上，为简化配置管理，根据业务定义了不同的流封装类型（类似于传统网络中不同的接口类型）。目前主要的流封装类型有dot1q、untag、qinq和default四种类型：

• dot1q：对于带有一层VLAN Tag的报文，该类型子接口只接收与指定VLAN Tag匹配的报文；对于带有两层VLAN Tag的报文，该类型子接口只接收外层VLAN Tag与指定VLAN Tag匹配的报文。
• untag：该类型子接口只接收不带VLAN Tag的报文。
• qinq：该类型子接口只接收带有指定两层VLAN Tag的报文。
• default：允许子接口接收所有报文，不区分报文中是否带VLAN Tag。不论是对原始报文进行VXLAN封装，还是解封装VXLAN报文，该类型子接口都不会对原始报文进行任何VLAN Tag处理，包括添加、替换或剥离。

除二层子接口外，还可以将VLAN作为业务接入点。将VLAN绑定到广播域BD后，加入该VLAN的接口即为VXLAN业务接入点，进入接口的报文由VXLAN隧道处理。

将二层子接口加入BD

现在再来回答“如何确定报文属于哪个BD”就非常简单了。其实，只要将二层子接口加入指定的BD，然后根据二层子接口上的配置，设备就可以确定报文属于哪个BD啦！

VXLAN EVPN的路由类型有哪些？

在EVPN NLRI中定义了如下几种应用于VXLAN控制平面的BGP EVPN路由类型：

• Type2路由：又称MAC/IP路由，主要用于VTEP之间相互通告主机IP、MAC信息。
• Type3路由：主要用于在VTEP之间相互通告二层VNI、VTEP IP信息，以建立头端复制列表，指导后续BUM报文的转发。
• Type5路由：又称IP前缀路由，主要用于传递网段路由。

使用EVPN发布VTEP路由

在主机同子网互通场景下，因为只需要在同一个二层广播域（BD）内互通，所以只要两端VTEP的IP地址路由可达，VXLAN隧道就可以建立，所以同子网VXLAN隧道的动态建立需要在两端VTEP之间建立BGP EVPN对等体，然后对等体之间通过交互Type3路由来互相传递VNI和VTEP IP地址信息，来实现动态建立VXLAN隧道。

使用EVPN发布主机路由

在主机跨子网互通场景下，需要在不同二层广播域（BD）内互通，主机之间的互通需要知道对端主机的IP路由。Type2路由携带32位掩码的主机IP地址信息，VTEP之间通过EVPN Type2路由发布主机路由信息，从而使VTEP就学习到主机的路由信息，从而进行三层转发。

使用EVPN发布网段路由

网段路由的发布流程与主机路由类似，区别在于网段路由是通过Type5路由发布的，Type2路由只能发布32/128位的主机路由。Type5路由也可以发布32/128位的主机路由，在发布32/128位的主机路由时，功能与Type2路由类似。

使用EVPN学习MAC地址

在VXLAN网络中，为了减少网络管理员手工维护工作量和减少泛洪流量，需要支持MAC地址动态学习。跨子网互通需要进行三层转发，MAC地址学习只在本端主机和网关之间通过动态ARP报文实现，这里不再详述。在同子网主机互通场景下，使用EVPN作为VXLAN的控制平面，可以用EVPN来进行MAC学习。Type2路由不仅携带IP路由信息，还携带MAC地址信息，使用EVPN来进行MAC学习的过程，是通过在VTEP之间传递Type2路由路由完成的。

集中式VXLAN中同子网互通流程

如下图所示，VM_A、VM_B和VM_C属于同网段。此时，VM_A想与VM_C进行通信，首次进行通信，报文进行如下处理：

1. VM_A上没有VM_C的MAC地址，所以会发送ARP广播报文请求VM_C的MAC地址。
2. VTEP_1收到ARP请求后，先进行VXLAN封装，然后将VXLAN报文复制多份分别发送给所有的对端VTEP。
3. 报文到达VTEP_2和VTEP_3后，VTEP对报文进行解封装，得到VM_A发送的原始报文。VTEP_2和VTEP_3在对应的二层域内广播。
4. 当VM_C收到该请求报文后，发现目的IP与本机IP相同，因此VM_C将进行ARP应答。而其他VM收到该请求报文会丢弃。

经过上述过程，VM_A和VM_C均已学习到了对方的MAC地址。之后，VM_A和VM_C将采用单播方式进行通信。

同子网VM互通组网图

集中式VXLAN中跨子网互通流程

跨子网报文转发需要通过三层网关实现。如下图所示，VM_A、VM_B属于不同网段。VM_A与VM_B进行通信的报文处理过程如下：

1. VM_A先将数据报文发送给VTEP_1。
2. VTEP_1收到后进行VXLAN封装，然后将VXLAN报文发送给对端VTEP_3。
3. VTEP_3收到VXLAN报文后进行解封装，发现目的MAC是三层网关接口BDIF的MAC地址MAC_10，而目的IP地址为IP_B（10.1.20.1），因此需要进行三层转发。
4. VTEP_3根据路由表查找到IP_B的下一跳，发现出接口为BDIF 20，VTEP_3将报文重新进行VXLAN封装，然后将VXLAN报文发送给对端VTEP_2。
5. 报文到达VTEP_2后，VTEP_2对报文进行解封装，并将其发送给VM_B。

不同子网VM互通流程示意

BDIF接口的功能与VLANIF接口类似，是基于BD创建的三层逻辑接口，用以实现不同子网之间的通信，或VXLAN网络与非VXLAN网络之间的通信。