97国际

97国际·(中国区)集团官方网站

中文

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

登录

97国际·(中国区)集团官方网站

产品

< 返回主菜单

产品

解决计划

< 返回主菜单

解决计划中心

行业

服务支持

合作伙伴

关于97国际

投资者关系

返回主菜单

选择区域/语言

97国际·(中国区)集团官方网站

首页
手艺博文
互联网
聊聊新基建之数据中心的网络运维手艺

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

聊聊新基建之数据中心的网络运维手艺

本文驻足于新一代25/100G数据中心架构之上，剖析了现在运维层面的挑战，提出了面向网络运维全流程的手艺升级，针关于流程中的每个环节解说了对应的运维手艺。

宣布时间：2020-08-13
点击量：
点赞：

分享至

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

我想谈论

本文作者：墨染尘香

97国际网络互联网系统部解决计划架构师

随着互联网营业的迅猛生长，数据中心基础架构也在一直向前快速迭代，随之而来的问题是怎样管理好这张重大的数据中心网络。本文驻足于新一代25/100G数据中心架构之上，剖析了现在运维层面的挑战，提出了面向网络运维全流程的手艺升级，针关于流程中的每个环节解说了对应的运维手艺。希望可以通过本文给读者一些新的启发和灵感。

一、新时代需要新手艺

随着云盘算、AI、大数据等手艺的快速生长，一些新的营业形态泛起在各人的眼前，好比今年受疫情影响而爆火的在线教育，直播带货等。营业应用的刷新得益于基础设施的一直生长和完善，上半年“新基建”的看法异�；鸨�，与之相关几大领域的股票也都在猖獗上涨。

2020年4月20日上午，国家发改委召开4月份例行新闻宣布会，首次就“新基建”看法和内在作出正式的诠释。

“新型基础设施是以新生长理念为引领，以手艺立异为驱动，以信息网络为基础，面向高质量生长需要，提供数字转型、智能升级、融合立异等服务的基础设施系统。”这是发改委给出的“新基建”界说。

新型基础设施主要包括3个方面内容，即信息基础设施、融合基础设施以及立异基础设施。其中信息基础设施中的数据中心作为通讯网络和算力的基础是我们今天要讨论的重点。

在上一期的手艺盛宴直播运动中已经跟各人分享了数据中心网络架构的演进历程，也重点先容了新一代数据中心架构的设计建议，今天我们聚焦在运维层面来聊一聊新一代数据中心网络运维手艺。

首先作者以为运维能力和架构一样也是需要更新迭代的，缘故原由体现在两个方面：

第一是营业驱动，25/100G时代的数据中心承载了一些基于RDMA手艺的营业，好比高性能盘算、高性能存储等。这些营业对延时和丢包很是敏感，因此要求我们对网络装备要做到越发细腻化的状态监控，由此可见古板的SNMP手艺可能将要被新的运维手段所替换。

第二是手艺驱动，主流的25G数据中心架构都会接纳单芯片的盒式交流机来举行集群内的组网，由于芯片选型爆发了转变，因此对应的运维手艺也会有一些改变。详细来说就是我们可以享受到新型芯片带来的手艺盈利，好比基于IFA（IFA，In-band Flow Analyzer）的可视化运维能力等。

综合以上剖析，作者以为新一代的数据中心需要新的运维手艺来协助我们管理好这张重大的数据中心网络。

二、面向网络运维全流程的手艺升级

我们对许多公司的网络架构以及运维流程做了调研和剖析，总结了一些通用的问题供各人参考和讨论。

标准化的运维流程或许分为五步：网络交付，网络设置管理，网络监控，问题定位和故障处置惩罚。下面我们来剖析一下每个流程中都有哪些问题亟待解决。

网络交付

关于设置管理的流程各人并不生疏，SSH、Telnet等基于CLI的设置管理。但面向海量的网络装备若是举行重复性的机械行动，往往会消耗各人较量多的精神，影响运维的效率。

网络监控

在安排基于RDMA的营业之前，接纳SNMP协议实现对网络装备的监控是较量主流的做法；但随着RDMA的应用越来越多，我们对网络装备运行状态需要掌握的越发细腻和实时，而SNMP以分钟为周期的时效性和可监控的维度、颗粒度都会显得有些缺乏。

问题定位

以丢包问题为例，问题定位就是说我们知道了有丢包事务爆发，需要定位出哪个包丢了，在那里丢的，为什么丢。这些信息以前都没有很好的手艺手段来资助我们识别�；贓CMP的组网，加上网络装备自己又是黑盒，我们连数据包真实转发的物理路径都无从得知，更况且是问题定位呢。

故障处置惩罚

现在大大都运维模式都属于救火式的被动响应，营业先报障，运维团队接到CASE后做对应处置惩罚，对其处置惩罚的方法往往是需要依赖运维工程师的履历。在人工智能快速生长的时代，若是还一味的依赖人工来解决问题，是不是有些不敷智能呢？

综合以上的剖析，我们在整体运维流程的基础上举行了面向网络运维的全方位手艺升级。

在思量本钱和效率的条件下，我们在每个运维流程中都应用了新的手艺来解决新时代下的新问题。

97国际·(中国区)集团官方网站

图1 运维全流程与运维新手艺的对应关系

下面我们逐一剖析在差别运维流程中，我们应当接纳哪些新的运维手艺来资助我们更有用地管理好这张重大的数据中心网络。

三、网络上线交付

零设置自动安排管理

（ZAM，

Zero-configuration Automatic Manage）

上文提到在网络初始化交付环节中保存大规模交付的效率问题，那么应用什么手艺可以提高这项事情的效率呢？

ZAM零设置自动安排管理手艺可以很好的解决这个问题。

交流机到货装置上架并加电后，识别到空设置会自动进入ZAM模式，通过DHCP的两个Option字段获取到TFTP的Server地址以及要下载的剧本文件�；谧陨淼腟N码获取到属于自身的版本、补丁、数据设置，自动重启后，可以分钟级完成整机房的网络装备交付。

在网络上线交付环节应用ZAM手艺大大降低了对人的依赖，提高准确率的同时，节约了人工刷版本、刷设置的时间，是知足快速交付的主要手段。

97国际·(中国区)集团官方网站

图2 零设置自动安排管理手艺流程

四、网络设置与管理

Ansible

网络承载的营业不会是一成稳固的，为了知足重大多样的需求可能会举行营业的调解变换。面临营业变换，往往需要运维工程师同时操作大宗的网络装备，此时若是依赖工程师逐台上岸装备下发下令，大宗的重复性事情一方面会导致运维效率低下，另一方面也很难阻止爆发一些人为设置失误，因此需要一种便捷的运维管理工具资助工程师解决批量设置管理网络装备的问题。

社区中开源的运维管理工具有许多，都可以资助运维职员批量完成特定使命，镌汰重复性事情，好比Puppet、SaltStack、Ansible等。在比照了这三个运维管理工具之后，我们发明Ansible越发轻量化，更容易被普遍应用起来。

97国际·(中国区)集团官方网站

图3 运维管理工具比照

从上述比照表中，我们不难发明Ansible的手艺特点：

无客户端

这是Ansible被普遍应用的一个最大缘故原由，被管装备上（如交流机）只需要支持SSH和Python2.5以上版本即可，不需要特殊凭证Ansible的客户端举行适配；

�？榛�

Ansible也可以视作没有服务端，我们可以通过挪用特定�？�，完成特定使命；

清静

基于OpenSSH的实现，加密远程传输中的数据；

支持Playbooks编排使命

这个是Ansible的最大特色，Playbooks可以资助运维职员将重大使命碎片化，且能够举行批量地安排重大使命。Playbooks的编写也基于易读的YAML语法，操作容易。

五、网络细腻化监控

gNMI

（gRPC Network Management Interface）

提到网络状态监控，相信各人脑海中首先涌现的就是SNMP手艺。简直，SNMP作为古板的网络监控手段已经被各人应用了许多年，但面临高性能盘算、大数据、AI等营业就会有些力有未逮。

首先从营业特征和需求来看，高带宽营业会泛起微突发的征象，因此需要我们能够实时地监控装备的运行状态。好比RDMA营业，需要对要害信息做监控，缓存行列等实时状态数据。

因此我们建议接纳gRPC框架实现对网络装备的细腻化监控。

97国际·(中国区)集团官方网站

图4 gRPC事情流程

gRPC是谷歌宣布的基于HTTP2.0承载的高性能开源软件框架，提供了支持多种编程语言的管理网络设置和纳管的方法�？词垢魅烁ㄗ⒂谟挡忝婺谌�，镌汰对底层协议框架的关注。gRPC接纳了ProtoBuffer（PB）来做数据的序列化与反序列化封装，用HTTP 2.0作为数据传输协议。

gRPC的传输效率很是高，也得益于这两大焦点手艺。

Protocol Buffers：高效的数据名堂，传送二进制码，消耗少，传输快

HTTP2.0：多路复用毗连，二进制帧传输，首部压缩

在网络细腻化监控这一环节中，越来越多的客户最先应用gRPC来统一运维接口，拉齐装备的能力特征，提升效率，越发自动的感知网络状态，提早发明问题，防患于未然。关于gRPC手艺的更详细先容，可以查阅前几期的手艺盛宴文章，由于篇幅的缘故原由，作者在此不做深入睁开。

六、问题定位

带内流量剖析（IFA，In-band Flow Analyzer）

网络运维流程中最棘手环节就是故障问题的定位。

以RDMA营业为例，该营业特征是对延时和丢包极其敏感，一旦爆发了丢包就会大大降低营业性能，影响很大。因此我们除了能够感知端到端的延时，还需要能检测到异常颤抖，知道在哪一跳泛起了异常。

而在目今的多焦点Scale-out（横向扩展）组网架构下，网络中保存了大宗的ECMP（等价多路径），每个营业流在每跳详细转发到哪个物理端口上，依赖芯片Hash（哈希）的效果，这个对运维来说是不直观的，我们希望给定一个营业流瞬间就知道每跳选择了哪个物理接口。

基于上述营业诉求，IFA手艺的应用给宽大运维同砚带来了福利。它可以用来准确确定特定流量的路径及转发时延等信息，并封装成UDP报文发送给服务器举行剖析。

97国际·(中国区)集团官方网站

图5 IFA手艺原理

详细实现：

在入口首跳装备上举行指定会话的识别，通过采样后，最先插入INT头部；

后续转发节点插入Metadata数据，包括装备id、入出端口、时间戳等；

尾跳装备重新结构UDP报文，并把采样报文封装到UDP报文的payload中，然后把UDP报文上送到监控服务器上。输入文字

最终IFA的安排，可以通例的日�？�，可是也可以针对爆发故障时按需挪用。

一些敏锐的读者看到这里会提出一个疑问，RDMA营业既然关于路径和丢包敏感，那么我们只上送那些路径爆发转变以实时间凌驾阈值的报文到服务器，再加以剖析处置惩罚不就可以吗？

97国际·(中国区)集团官方网站

图6网络流量剖析手艺流程

没错，若是将所有的报文上送服务器确实会特殊增添了服务器本钱，倒运于整网TCO优化，这种舍本逐末的做法可能会直接导致IFA手艺无法落地应用。

因此我们需要在流量抵达服务器之前做一级过滤，将那些路径和延时正常的报文都过滤掉，只上送异常报文到剖析服务器，就可以大大降低了服务器的压力。在这个过滤处置惩罚环节，我们建议接纳基于可编程芯片的交流机来实现，因其强盛的硬件处置惩罚能力可以获得更好的价值收益。

97国际·(中国区)集团官方网站

图7 基于可编程网元的网络可视化计划

六、故障处置惩罚

基于意图的网络（IBN，Intent-based Network）

谈到故障处置惩罚，我们需要先剖析一下现在的运维模式。一样平常关于故障的处置惩罚流程都是先由营业方提交Case报障，运维团队在系统上接到Case再去定位问题，剖析缘故原由，解决问题，属于被动的救火式运维。迫于营业的紧迫性，有的时间会让运维事情陷入很大的压力当中。

基于意图网络的智能剖析平台可以很好的资助我们改变现在的运维模式，化被动为自动。

97国际·(中国区)集团官方网站

图8 智能剖析平台架构

该平台内置多个�？�，包括数据收罗平台、AI引擎、大数据剖析平台以及智能剖析器�？梢允迪滞缂坝τ每墒踊�，问题剖析，故障展望等功效。

针对问题剖析这一功效，可以资助我们识别三大类故障，其中包括接入类、应用类以及网元类�；谖侍獾钠饰�，该平台也会提出调优及处置惩罚建议，资助我们快速解决问题，恢复营业。

97国际·(中国区)集团官方网站

图9 基于IBN的故障自动识别

关于IBN的详细内容，未来会单独做一期手艺盛宴和各人一起分享，在这里先抛砖引玉一下，各人敬请期待后续的专题解说。

七、小结

看到这里，相信各人对新一代的数据中心运维手艺也有所相识了。

97国际网络互联网数据中心ENA（Easy Network Architecture，简朴网络架构）解决计划正是基于单焦点Box+多平面组网的基础架构，面向运维全流程做升级迭代，从架构和运维两个层面一连演进。

本文中提到的运维特征已经在97国际网络数据中心交流机产品中所有体现，这些是97国际人恒久深入营业场景、视察研究、一直打磨精品的详细泛起。我们深知，看清用户痛点，以极简的方法辅助用户乐成，这才是手艺研发的第一要义。同时也希望每一位手艺盛宴的读者与我们分享您的真知灼见，我们配合发明、配合讨论、配合乐成！

相关推荐：

相关标签：

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

点赞

<< RCO5.2—VDI终端双网切换手艺白皮书

缓存加速的日志数据结构手艺白皮书 >>

相关产品

客户谈论

暂无谈论

我要谈论

您的姓名

您的手机号*

您的邮箱

公司名称

您的谈论*

我已仔细阅读并赞成隐私声明

验证码*

提交谈论

更多手艺博文

任何需要，请联系97国际

与售前照料攀谈

填写项目需求表单

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

售前咨询
售后服务
意见反响

97国际·(中国区)集团官方网站

返回顶部

收起

97国际·(中国区)集团官方网站

文档评价

该资料是否解决了您的问题？

您对目今页面的知足度怎样？

不咋滴

很是好

您知足的缘故原由是（多�。�？

您不知足的缘故原由是（多�。�？

您是否尚有其他问题或建议？

为了快速解决并回复您的问题，您可以留下联系方法

邮箱

手机号

我已赞成并阅读隐私政策

谢谢您的反�。�

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

97国际·(中国区)集团官方网站

请选择服务项目

售前咨询

售后服务

意见反响

更多联系方法