DCN场景下的BGP协议优化特征总结

【BGP协议】本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征。

宣布时间：2019-11-21
点击量：
点赞：

分享至

我想谈论

前言

随着超大型互联网数据中心的规模优势愈加显着，特殊是在IPv4、IPv6双栈模式下，关于我们网络工程师而言，所面临的建设和维护压力也是越来越大。在上一篇文章《大型数据中心BGP路由协议妄想》中，我们讨论了BGP路由协议在数据中心的规模安排，可以大大提升网络的路由性能，简化网络妄想，可是数据中心网络事实与古板广域网差别，关于BGP的安排和运维要求也会保存差别，通过优化BGP协议可以进一步提升网络路由性能及简化运维。本文将通过某互联网公司工程师小李在建设DCN时间的亲自填坑履向来相识BGP协议在数据中心场景的优化特征。

-------------我是华漂亮的支解线------------

我是小李，我帅的一批。

我上大学念的是执法专业，为了省点网费，跟校园网安排的97国际认证计费系统举行了多年的斗智斗勇，也因此爱上了网络这个行当，并且考取了97国际网络的RCIE（97国际认证网络专家）认证，结业后顺遂地进入了一家互联网企业事情，天天就是处置惩罚种种网络的建设、妄想、设置、变换，也可谓是履历富厚的老司机。

下面，就是我的故事，请仔细听噢！

网络建设篇

早晨，小李吹着口哨听着歌，一进办公室就接到了老板一个大活，要建设一个可以容纳5万台以上服务器的数据中心，营业服务器需要运行IPv4和IPv6双栈模式，先给出详细的网络设计计划和妄想。关于网络妄想，除了物理组网外，较量重大的就是路由、地址等妄想，可是作为97国际《大型数据中心BGP路由协议妄想》文章的优异读者，小李关于路由协议的选择和妄想没有任何疑虑，但思量到双栈模式下会有大宗的接口地址以及管理地址，顿感急躁！

摆在眼前的情形是：

服务器双栈运行，意味着网络也要开启双栈模式；

大宗装备互联地址及管理地址妄想，包括IPv4和IPV6；

BGP的IPv4邻人和IPv6邻人设置。

凭证古板设置要领虽然能实现，这个没有任何问题，但小李作为一个有着立异意识的互联网一线大厂工程师，并未急于凭证履历举行妄想，有没有更简朴的计划呢？经由一番厂家的交流，小李接纳97国际网络提供的妄想计划：

1.基于Linklocal地址建设会话---简化IPv6地址的分派
Link-localaddress是IPv6协议栈引入的新地址类型，接口开启IPv6协议后，可以自动天生Link-localaddress（FE80::/10），并且地址为外地链路有用。装备支持基于Link-local地址建设多个BGP邻人，从而可以免去妄想分派自力的IPv6地址。
2.单BGP会话双栈路由---镌汰BGP邻人数目
仅通过IPv4地址或者仅通过IPv6地址建设一个BGP邻人会话，同时实现IPv4、IPv6双栈路由转达的功效，从而抵达节约装备邻人表项。

小李发明这两个功效在这种场景下的团结简直不要太完善，通过IPv6的Link-local address，通过指定邻人接口即可建设BGP邻人，并基于每个邻人激活IPv4、IPv6双栈路由模式，从而实现单IPv6会话，转达IPv4、IPv6双栈路由。

小李的妄想提交给了向导后，马上获得审批通过，并连忙最先建设执行，就在服务器批量上线的时间，小李又接到了一个新的需求，数据中心单独计齐整个POD，这个POD服务器要运行Docker，宿主神秘与TOR交流机之间需要通过BGP举行路由交流，宿主机的网段已经妄想完成，但详细地址要等营业上线的时间才华拿到，做盛意理准备吧！

小李大吃一惊，什么心理准备啊，还不是营业每上线一台宿主机我都要配合他们做一次 BGP邻人对接设置吗？凭证营业上线的习惯每次都要比及后三更才华上线，难不可，天天就为了设置一个BGP邻人，一分钟不到的事情，还要跟他们一起加个班么？

加班虽好，可是事情内容价值不高。以是小李最先琢磨，既然网段已经妄想好，若是BGP的邻人能基于网段建设，那不就不需要天天跟营业线的人一起加班了么？

通过翻阅装备手册，小李还真的发明了这个功效：

基于网段被动建设会话
网络装备设置基于网段的BGP邻人，设置此模式后，不会自动提倡BGP邻人建设请求，而是被动吸收到对端邻人提倡建设请求后，凭证邻人地址天生对应的真实邻人，并建设会话。

时间指向晚上八点钟，设置完成，大功告成。作为一个互联网一线大厂的优异工程师，小李吹着口哨听着歌打卡下班了，尚有时间健个身，心理美滋滋。

网络扩容篇

某日，小李获得向导安排的一项新的使命，近期公司要上线一批AI营业，规模虽然不大，可是原有网络的收敛较量高，生怕不可知足高性能盘算的需求，要求小李针对一个POD举行扩容，降低收敛比，但又不可影响原来在线的营业，扩容后的网络架构，如图一所示：

▲ 图一：POD扩容架构

小李接到使命后，心理自喜，接纳Spine-Leaf的一个最大的利益就是横向扩容利便，于是就凭证妄想割接第一台POD-Spine装备上线，这时间营业反响有少量的丢包。��？虽然是少量丢包，但也引发了小李深深的思索，究竟是怎么回事呢？

检查设置OK、路由学习正常，为什么有丢包呢？经由仔细剖析，小李发明原来问题的泉源在于路由表项的装置差别上，新的POD-Spine上线后，向POD-Leaf以及Spine通告了自己的路由，并学习网络的路由，就在此时，关于POD-Leaf来说，ECMP由两条，连忙酿成了三条，并且发送数据流量，与此同时新上线的POD-Spine装备虽然完成了网络路由的学习，但装置这些路由表项需要一定的时间，从而有一个时间差，导致服务器的流量泛起了少量的丢包，那怎样解决这个问题呢？小李此时想若是装备能够先将路由学习并装置完成以后，再向邻人通告自己完整的路由，那这个时间差不就不保存了吗？想到这里，小李通过翻阅装备手册发明：

BGP路由延迟通告
将学习到的路由先装置到硬件路由表项后，再向邻人通告这些路由

有了这个功效后应该就能解决这个问题了吧！小李连忙举行了第二台POD-Spine装备的上线，并开启了此功效，同时还请营业组同事实时监控服务器的丢包情形，发明第二台装备上线后没有造成任何的丢包。搞定，胜利，欧耶~

故障处置惩罚篇

天有意外风云，人有朝夕祸福，小概率事务也是会爆发的。

如图二所示：

▲ 图二：网络维护区域

这天工程师小王找小李哭诉，由于Spine节点装备泛起故障、宕机，导致小王被营业部分投诉，体现泛起了10多秒的丢包。咱们网络有10K多的路由，收敛也需要时间啊，丢点包怎么了，营业又没断。咦？你认真的区域应该同样会受到这台装备故障牵连，你怎么还能那么潇洒呢，营业部分没有投诉你吗？

这时小李低声说，告诉你一个秘笈吧，保你轻松应对“黑天鹅事务”，这个秘笈叫做：

BGP的PIC（prefix independent
convergence）快切
BGP的PIC快切实现了路由前缀无关的收敛，收敛速率与路由规模无关，因此能实现大规模路由的快速切换。

PIC快切功效基于AS号来实现，在EBGP之间启用，开启PIC快切功效后，BGP宣布路由时会携带PIC扩展整体属性，吸收该BGP路由的交流机会凭证宣布者的AS号和router-id分派一个唯一的索引ID，通过优选盘算后会携带该索引下发到转发面。当宣布者上行链路所有中止，无法收到此AS的路由信息时，通过查找对应的索引ID，通告转发面将关联该ID的路由一次性完成切换，从而实现营业的快速收敛，无需期待逐条删除路由来收敛（通俗路由收敛需要逐条删除失效路由信息，因此收敛时间与路由规模强相关）。

简朴来说呢，就是来自故障节点装备（Spine）宣布的路由，POD-Spine装备通过BGP的私有属性举行了归类分组，并且携带私有属性将路由通告下游（POD-Leaf），一旦Spine节点故障，POD-Spine自身会快速切换，并通过私有属性通告POD-Leaf所有路由失效并举行切换。这样，我的这个POD内部就能够实现快速的收敛了。这种实现方法做到了与前缀无关的路由收敛，并且很是适用于大规模的路由切换，实测数据显示：

12K路由收敛实测：

未开启PIC快切：13S

开启PIC快切：1S以内(0.7S)（此切换时间不随路由规模转变而转变，在大规模路由情形下尤为适用）

那既然是私有属性，只能自己识别，别的装备不支持会影响路由学习吗？小王疑惑地问。不会的，关于不支持这个属性的装备，会自动过滤掉这个信息，不会影响其他装备路由的正常学习。好吧，今天又涨知识了，带着满脸钦佩心情的小王回到了自己的工位，并将所学知识点连忙应用到自己的网络，降低“黑天鹅事务”爆发后爆发的损失。

焦点迁徙篇

有人问这次互联网严冬究竟有多冷，小李体现，究竟有多冷我不知道，但要做的事情一点没有少。这不，又接到了一个新机房建设使命。接到使命的小李，连忙举行了网络的妄想以及硬件核对，发明还缺少两台POD-Spine装备？难不可这个装备也要从谁人机房迁徙过来吗？小李获得的回复是一定的，谁人老机房的营业没有凭证预期妄想安排，流量没有那么高了，将收敛比提高一下，并下线两台POD-Spine装备吧，但一定不可影响营业哦~

▲ 图三：某某机房网络架构

装备下线，要先将待下线装备流量迁徙走，包管不影响营业，这时小李通过与装备厂家相同，获取了几种BGP流量迁徙的方法：

Neighbor shutdown
通过向邻人发送notification报文来见告邻人已经人为shutdown邻人关系，常用于框式装备单线卡隔离变换。

Graceful shutdown
向邻人装备发送UPDATE报文，用于通告优先级最低的路由（local-preference 值为0或MED值为4294967295），并且会携带着名的gshut community，从而使邻人装备举行路由更新，使其流量预先切换到备份链路或其他等价链路上。

BGP advertise-map
通过向邻人发送UPDATE报文携带的withdraw routes字段，见告邻人路由失效，邻人收到UPDATE报文之后会更新外地路由表，从而将相关的路由都删除。从使其的流量切换到备份链路或其他等价链路上。

通过原理的比照剖析，小李总结出这几种流量迁徙方法的差别点，如表1所示

▲ 表一：BGP流量迁徙方法总结

经由比照剖析，小李发明Neighbor shutdown方法太暴力，还会丢包;Graceful shutdown虽然不丢包，但需要期待路由收敛，时间较量长，而第三种BGP Advertise-Map直接通告路由失效的方法，既快捷又不丢包，并且特殊场景还可以通过ACL加以控制，就用它了。

总结

手艺路漫漫，只有通过一直地学习、积累和实践才华进取前行。在DCN场景下的BGP优化主要的着重点在于在双栈模式下简化BGP协议的安排、提高BGP协议的收敛性能以及平稳的流量迁徙。网工小李把他事情中的履历毫无保存地分享给了其他的网工，希望他们有所收获。而他也在手艺路上一直的生长，终于穿上了他心爱的格子衫，并且。。。。。。

他头上的发量，始终是个谜。

相关推荐：