IPv6系列应用篇——数据中心IPv4/IPv6双栈架构探讨

【IPv6应用】本文主要先容数据中心IPv4/IPv6网络双栈架构的一些实践，主要聚焦IPv6组网下的PXE装机及IPv6服务器双归冗余架构的实现。

宣布时间：2019-03-29
点击量：
点赞：

分享至

我想谈论

配景

2017年，工业和信息化部宣布了《推进互联网协议第六版（IPv6）规模安排行动妄想》的通知，从国家层面推动下一代IP手艺——IPv6的普及和应用。目的到2020年尾，IPv6活跃用户数凌驾5亿，在互联网用户中的占比凌驾50%，新增网络地址不再使用私有IPv4地址。这就要求从互联网应用、网络基础设施、应用基础设施和网络清静等各个维度推动IPv6的刷新和建设。

互联网营业的IPv6刷新不会一蹴而就，这还受限终端及运营商网络的IPv6能力，以是IPv4营业和IPv6营业并存将会一连很长时间。而数据中心作为应用基础设施的主要部分，需要同时支持IPv4营业和IPv6营业，双栈安排是最主要的手艺手段。今天就跟各人聊聊数据中心IPv4/IPv6网络双栈架构的一些实践。双栈安排涉及许多方面，由于受限文章长度，本次主要聚焦IPv6组网下的PXE装机及IPv6服务器双归冗余架构的实现。

在睁开详细剖析之前，先带各人先回首IPv6地址分类（含妄想建议）和IPv6地址的分派原则，资助各人更好的明确本文内容。

IPv6地址分类及妄想建议

数据中心基础网络主要使用IPv6单播地址，涉及服务器营业地址、服务器管理地址、交流机互联地址、交流机管理地址的分派。

IPv6单播地址可分为全球单播地址、唯一外地地址以及链路外地地址，如下图所示。

97国际·(中国区)集团官方网站

▲图一 IPv6单播地址分类

• 服务器营业地址、服务器管理地址以及交流机管理地址建议接纳唯一外地地址，并使用64位掩码长度。

1、空间大：

（1）64位掩码空间拥有2,814,749亿个地址空间。

2、节约交流机硬件表项：

（1）交流机用于存放表项的硬件资源十分有限；

（2）64位掩码的网段路由相比128位掩码的主机路由，需要更小的匹配域（源IP、目的IP），消耗更少的硬件资源。

使用64位掩码的网段也会带来一些小问题，我会在IPv6服务器双归冗余架构章节详细先容。

• 交流机互联地址建议使用唯一外地地址。

1、唯一外地地址空间足够大，这个上面已说明；

2、OSPF、BGP等路由协议对链路外地地址的支持还不敷成熟。

IPv6地址分派原则

如下图所示，IPv6地址分派方法可分为手工设置和自动设置，自动设置又分为有状态地址自动分派（DHCPv6）以及无状态地址自动分派。

97国际·(中国区)集团官方网站

▲图二 IPv6地址设置方法

有状态地址分派方法和DHCPv4类似，依赖DHCPv6协议从DHCPv6 Server的地址池中获取可用的IPv6地址，而无状态地址自动设置挣脱了重大的DHCPv6协议，依赖ND（Neighbor Discovery，邻人发明）协议即可完成地址自动设置。下图是服务器无状态地址自动设置的历程：

97国际·(中国区)集团官方网站

▲图三无状态地址自动设置历程

• 服务器自动发送RS（Router Solicitation，路由器请求）报文，RS报文的源IP是服务器的Link-local地址，目的IP是组播IP；

• 交流机收到RS报文后，举行RA（Router Advertisement，路由器通告）报文的封装及发送，源IP是网关的Link-local地址，目的IP是组播IP。需要重点关注的是RA报文的M标记位以及O标记位，M标记位的值为0，服务器才会走无状态地址设置流程；

• 服务器收到RA报文后，会将RA报文的源IP设置为默认网关，并剖析RA报文的M、O标记位，若是M标记位为0则剖析RA报文携带的路由前缀内容，接口ID使用EUI-64名堂天生。

RA报文中M以及O标记位的详细寄义如下：

• M：管理地址标记位（Managed Address Configuration)。
1、置0体现无状态地址分派，客户通过无状态协议获取IPv6地址；

2、置1体现有状态地址分派，客户端通过有状态协议（DHCPv6）获取IPv6地址。

• O：其他状态标记位（Other stateful Configuration）。
1、置0体现客户端通过无状态获取除地址外的其他设置信息；

2、置1体现客户端通过有状态获取其他设置信息（如DNS、SIP服务器等）；
若M标记位为1，则O标记位也必需为1。

相比有状态地址自动设置，无状态地址自动设置的优势如下：

• 真正的即插即用

主机毗连到一个没有DHCP服务器的网络时，无须手动设置地址等参数即可会见网络；

• 网络迁徙利便

当一个站点的网络前缀爆发转变时，主性能够利便地举行重新编址而不影响网络毗连；

• 降低网络重漂后

不需要安排自力的DHCPv6服务器，以是简化了网络妄想及运维难度；

• 提高网络可靠性

服务器地址获取不依赖集中的DHCPv6服务器，从而提高整体的可靠性。

IPv6服务器PXE装机方法

在数据中心内部，服务器装机是必不可少的环节，古板的PXE（Preboot Execute Environment，预启动执行情形）装机流程如下：

97国际·(中国区)集团官方网站

▲图四古板PXE装机示意图

整体分两个阶段：

• PXE阶段：

服务器需要通过DHCP协议获得设置信息，包括IP地址，默认网关以及File Server地址。

• 装置阶段：

服务器请求File Server的软件镜像以及设置信息，下载完成后通过内嵌装机软件，完成系统装置，设置下发等一系列行动。

比照IPv4的PXE装机流程，有状态地址自动设置情形下的IPv6服务器装机变得越发重大。

虽然你可以继续沿用现有的IPv4网络对IPv6服务器举行装机，不过思量到最终要演进到IPv6 only，IPv6装机是必不可少的。下面详细叙述有状态地址自动设置情形下IPv6服务器装机重大在那里？

97国际·(中国区)集团官方网站

▲图五 IPv6有状态PXE装机

有状态地址自动设置情形下的IPv6 PXE装机也分为两个大阶段：

• PXE阶段：

1、服务器需要通过ND（Neighbor Discovery，邻人发明）协议或者DHCPv6协议获取IP地址；

2、通过ND协议完成服务器的“默认网关”设置；

3、通过DHCPv6 完成File Server地址设置。

• 装置阶段：

拿到File Server地址设置后，通过TFTP或者FTP下载镜像以及设置信息，通过内嵌装机软件完成系统装置。

IPv6服务器PXE装机的重大主要体现在需要同时依赖ND协议及DHCPv6的有状态地址自动设置两种手艺。

• 必需依赖ND协议获取默认网关的相关设置

1、默认网关信息必需依赖ND协议的RA新闻：

（1）RA新闻的源IP（默认是网关的Link-local地址）是下联服务器的默认网关。

2、必需通过RA新闻中O标记位获取DHCPv6 Server信息。

• 需要依赖DHCPv6服务器获取File Server地址等信息

服务器必需向DHCPv6 server获取File server地址以及DNS等信息。

从上面的历程不难看出，ND协议是关于IPv6主机是必不可少的组件，以是要降低IPv6服务器PXE装机的重漂后，只能想步伐实现去掉DHCPv6协议。

深入剖析有状态PXE装机计划，只需要扫除通过DHCPv6获取File Server地址设置这一个限制即可。详细就是通过RA+DNS的方法实现，这个计划我们称之为无状态地址装机计划。

• 界说RA新闻的URL Option扩展属性，携带File Server的域名；

• 主机通过RA新闻获得DNS 服务器地址（DNS服务器地址手工设置在交流机）；

• 通过DNS域名剖析，获得File Server的地址。

基于无状态地址自动设置的IPv6服务器PXE装机整体流程如下图所示：

97国际·(中国区)集团官方网站

▲图六 IPv6无状态PXE计划

服务器发送RS报文请求，交流机应答RA（哑终端则期待装备按期发送RA），服务器凭证RA报文完成自动设置，包括：IP地址、默认网关、DNS Server、以及File Server的URL；

• 服务器获取地址后，发送DAD报文举行地址冲突检测；

• 服务器发送NS报文请求网关ND，交流机通过NS报文学习服务器ND信息，并发送NA应答；

• 服务器向DNS Server发送域名剖析URL请求，然后从File Server下载bootfile，执行装机。

显然基于无状态地址的IPv6 PXE装机计划去掉了沉重的DHCPv6协议，不需要特殊消耗DHCP Server资源，更简朴、更轻量，也简化了网络的妄想。有状态的DHCPv6装机计划，地址池的盘算、管理所有在DHCPv6服务器端，这种方法堕完工本很高，即DHCP服务器的地址池维护分派若是泛起问题，整个集群的服务器PXE装机都会受影响，而无状态地址装机则更为简朴，简朴意味着可靠和稳固。

IPv6服务器双归冗余架构

在聊IPv6服务器双归冗余架构之前，我们先看看IDC双栈计划的整体组网架构。

97国际·(中国区)集团官方网站

▲图七 IDC双栈计划架构示意图

• 接入、汇聚、焦点交流机之间建设双栈EBGP邻人；

• 直连端口设置双栈地址，IPv4 的BGP Session承载IPv4路由，IPv6 的BGP session承载IPv6路由；

• 服务器上行双归到接入交流机，两台接入交流机为一组，接入交流机实现去堆叠计划（类似IPv4下的去堆叠，详细拜见【第六期】怎样实现数据中心网络架构“去”堆叠。

IPv6服务器双归冗余架构就是IPv6情形下的接入交流机去堆叠，与IPv4下的去堆叠组网目的一致，可是详细细节上又有许多的差别。

• 广播风暴抑制

1、在IPv6的去堆叠计划中，最主要的是阻止广播风暴，需要在接入交流机下联口开启风暴抑制功效；

2、IPv4场景组要指定隔离广播、组播、未知单播报文；

3、IPv6作废广播的看法，只需隔离组播报文。

• 二层隔离+网关代答

1、IPv4在二层隔离的场景下，同子网内主机的互通接纳ARP Proxy计划，即ARP代答，关于主机ARP请求的任何IP地址都应答网关的MAC地址；

2、IPv6在二层隔离的场景下，同子网内主机的互通有两种计划：

（1）安排ND Proxy来实现代答，类似IPv4的ARP Proxy计划；

（2）通过RA新闻（L-bit）标识置为0，通告下连地址段前缀为“off-link”，即非直连网段，所有报文的转发都必需通过网关。

ND Proxy计划详解

ND Proxy计划的重漂后在交流机侧，不依赖于服务器的协议栈。

交流机需要实现同网段通讯走三层转发。即交流机对服务器发出所有NS请求，都以网关的MAC地址举行应答，并在硬件出偏向不转发服务器的NS报文，包括目的服务器和源服务器是同网段。

ND-Proxy网关代答详细流程如下图：

97国际·(中国区)集团官方网站

▲图八 ND-proxy代答时序图

• 服务器S1自动发NS报文来获取服务器S2的MAC地址；

• 交流机设置了ND Proxy，以是NS报文直接被上送到CPU，判断本机是否保存S2的ND表项，若是保存则直接代答NA报文；

• 若是不保存S2的ND表项，为了确保S2目今是真着实线的，交流机CPU会自动起源IP是网关IP、目的IP是服务器S2的NS报文；

• S2收到NS后应答NA报文，交流机收到S2的NA报文后在外地天生S2的ND表项并代答NA报文给S1；

• 若是S2爆发故障或者不在线，则网关不会代答NA报文给服务器S1，不然会造成黑洞丢包。

设置硬件出偏向不转发NS报文的缘故原由是阻止ND表项泄露。

这个问题跟IPv4场景的去堆叠场景类似，若是不做出偏向ARP报文的抑制会导致ARP泄露，从而导致服务器双挂变单挂的故障场景下，部分营业流会一直断流。

97国际·(中国区)集团官方网站

▲图九 Server1双挂变单挂示意图

如上图所示，若是不做ARP或者ND在出偏向的抑制，当广播风暴抑制不生效时，S2会学到S1的ARP以及ND纪录，则S2发往S1的报文封装的MAC地址是S1的真实MAC地址，而不是网关的MAC地址，当S1爆发单上联口故障时，S2到S1走交流机-1的流量会被所有扬弃。

接入交流机硬件出偏向应用ARP抑制完全没问题，可是出偏向应用NS抑制会带来新问题，即统一台接入交流机下其他服务器无法收到DAD报文，导致DAD（Duplicate Address Detection，重复地址检测）检测失效。为解决此问题，交流机需要实现DAD报文学习ND的功效。流程如下图所示：

97国际·(中国区)集团官方网站

▲图十 DAD报文学习ND流程图

• 当交流机收到DAD报文时，会审查本机是否保存请求目的地址的ND表项；

• 若是没有则建设ND表项，并把ND状态置为Stale；

• 若是保存ND表项，则较量DAD报文的源MAC和该ND表项的MAC；

• 若是MAC差别，则说明检测到重复地址，发送NA报文通知发送端IP地址重复，IP地址不可用。

L-bit网关代答计划详解

基于L-bit的网关代答计划，通过RA报文中携带指定Prefix的off-link属性，使下联主机对与该Prefix同网段的通讯请求，必需先经由网关。L-bit计划依赖服务器主机的协议栈行为，不是所有的服务器OS都自然支持。

L-bit网关代答计划的详细原理如下：

• 交流机上关闭RA抑制功效；

• 周期性通告RA新闻给直连服务器，交流机设置指定前缀的On-link Flag为0；

• 主机收到RA后，通过剖析指定前缀的On-link-flag是否为0；

• 若是On-link-flag为0，则体现到此前缀的所有流量直接发给默认网关;

服务器同时通过剖析RA报文获取默认网关IP，并盘问ND表项，发往此前缀的所有流量的目的MAC会被封装成默认网关MAC。

简朴比照ND-Proxy以及L-bit这两种网关代答计划：

97国际·(中国区)集团官方网站

▲表一两种网关代答计划优劣比照

显然在服务器OS知足要求的条件下，L-bit计划更好。不过网络无法对营业服务器灌装版本做严酷的要求，以是建议接纳ND-Proxy计划、L-bit计划同时开启。若是服务器OS支持L-bit能力，则不会走到ND-Proxy的代答流程；若是服务器OS不支持L-bit，交流机的ND-proxy功效可以包管代答转发。

在第一章节讲IPv6地址妄想时，我们遗留了一个问题，即接纳64位掩码长度网段的问题，着实这也不算是问题，只是在服务器双归安排时，需要举行一些特殊的处置惩罚，这就牵涉到一个主要的特征——ND指定前缀转路由。

在明确ND指定前缀转路由看法之前，我们先要讲一下关于去堆叠场景ARP/ND转主机路由的需求。若是一组接入交流机各自宣布相同的主机网段路由，那么当其中一台接入交流机与某台主机的上行链路故障时，会见这台主机的流量可能会丧失一半的流量。只有把ARP/ND转成主机路由，面临上面的问题，接入交流机在发明下行毗连某个主机的链路故障时，它会快速作废其对应的主机路由，就不会爆发断流问题了。这内里的要害就在于ARP/ND天生的主机路由是怎样占用硬件表项的？

• IPv4情形：

1、接入交流机会把ARP转成32位长度的主机路由；

2、IPv4主机路由表项是复用ARP硬件表项资源的；

3、以是并没有由于天生主机路由占用双份的资源。

• IPv6情形：
1、ND转成的主机路由算是网段路由，占用交流机ALPM表项；

2、ND自己占用的是L3_entry表项；

3、ND转成的主机路由与ND表项不复用；

若是直接把ND转成对应128位长度的主机路由，一条128位的主机路由在ALPM硬件资源中需要占用两个表项（210 bit），关于原来就主要的APLM硬件资源就是极大的铺张。

以是，在IPv6服务器双归冗余架构下，为了最大化节约交流机ALPM硬件表项的资源，需要压缩ND转成的主机路由长度，指定ND转成主机路由的前缀长度，这就是ND指定前缀转路由。而64位掩码长度是最优的选择，由于64位掩码长度的网络路由在ALPM硬件资源中只占用一条表项（105 bit）。这也就是在第一章讲IPv6地址妄想时，为什么建议接纳64位掩码长度的缘故原由。

下面我们举个例子来说明。

假设终端的IPv6地址为fc00:1:1010:35::1124，凭证统一的64位网段妄想，接入交流机学到ND后转fc00:1:1010:35::1124/64网络路由，凭证下联48台服务器，每台服务器1虚30的能力来盘算，直连ND表项的数目为48*30 = 1440个，只占ALPM表容量的1%左右（以Broadcom Trident3估算），假设一个POD有30组接入交流机，那么每台接入交流机上从网络学到ND转成64位掩码长度的网络路由会占用了29 * 1% = 29%的ALPM硬件资源，设想下，若是不压缩ND转成的主机路由长度，那么从网络学到的128位主机路由就会很容易的用掉58%的ALPM硬件资源。

总结

本文重点针对IPv4/IPv6双栈情形下的地址妄想、PXE装机及服务器双归安排举行了简朴的讨论。总结起来，由于IPv6相关协议及地址长度的转变，再叠加原有的IPv4，IPv4/IPv6双栈架构对网络运维、网络清静，以及交流机硬件表项都带来不小的挑战，安排双栈后怎样应对这些挑战，后面会继续跟各人分享。

附专业术语诠释：

97国际·(中国区)集团官方网站