97国际

一机领航,向光而生 丨 97国际网络一机一网3.0秋季新品宣布会
预约直播
以AI为焦点,让资产可管可控,数据鲜活有用 丨 企业智能运维实践宣布会
预约直播
97国际·(中国区)集团官方网站
产品
< 返回主菜单
产品中心
产品
解决计划
< 返回主菜单
解决计划中心
行业
合作伙伴
返回主菜单
选择区域/语言
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站

202697国际官网
用户体验调研

马上加入
97国际·(中国区)集团官方网站

您订阅的产品有更新,请实时查阅

审查详情
97国际·(中国区)集团官方网站 97国际·(中国区)集团官方网站

手艺盛宴|浅谈AIGC算力网络中LPO� ?榈氖忠沼攀�

有网络的地方就会有光� ?榈挠τ�,那么算力网络中会安排哪种光� ?槟� ?本文将围绕光� ?槭�,剖析古板DSP� ?榈闹饕г倒试�,团结LPO手艺举行失效率比照剖析,讨论LPO� ?榈挠攀扑�。

  • 97国际·(中国区)集团官方网站

    宣布时间:2024-08-06

  • 97国际·(中国区)集团官方网站

    点击量:

  • 97国际·(中国区)集团官方网站

    点赞:

分享至

97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站

我想谈论

随着AI手艺的迅猛生长,林林总总的AI应用走入各人的事情、学习和生涯当中,好比Chatbot(谈天机械人)、虚拟主播、AIPC(人工智能小我私家电脑,Artificial Intelligence Personal Computer)等。为了让用户获取更好的应用体验,更快地响应时效要求,需要更好的大语言模子,更大规模的模子参数目。

相信各人也关注到,近期行业宣布的Llama 3.1 模子,参数规模已抵达惊人的4050亿。

云云重大的模子训练离不开超大规模智算中心的支持,近期马斯克在社交平台上宣布:xAI公司已经最先在超等盘算中心的“Supercluster”举行训练,该集群由10万个液冷H100 GPU组成,10万张GPU算力卡的互联需要高速网络通道。

随着智算中心集群规模的一直扩张,光市场已经占有数据中心越来越多的份额。在100G时代,光� ?楹屯绲谋壤嘉�1:1;到了400G时代,光� ?楹屯绲谋壤湮�7:3,光� ?樵诩褐械闹饕圆谎远�。本文将围绕光� ?槭�,剖析古板DSP� ?榈闹饕г倒试�,团结LPO手艺举行失效率比照剖析,讨论LPO� ?榈挠攀扑�。

 

一、算力网络中光� ?榈南肿�

谈到光� ?楦魅瞬换嵘�,有网络的地方就会有光� ?榈挠τ�。那么算力网络中会安排哪种光� ?槟� ?

下图展示了现在智算中心RoCE以太网计划的主流网络架构,服务器端通过400G高速网卡接入到算力网络中,搭载51.2T交流芯片的数据中心交流机组成三级架构支持万卡以上的集群规模。

 

智算中心RoCE以太网计划的主流网络架构

 

不难看出智算中心对� ?樗俾实囊笠丫执锪�400G,交流机互联的部分甚至可以思量接纳800G互联。

现在主流51.2T的交流芯片是112G SerDes,因此交流机侧的400G光� ?槎杂κ荙112的封装,网卡侧现在主要是OSFP的封装,安排时凭证距离选择对应长度的型号即可。

 

交流机网卡安排

 

二、DSP光� ?槭虑樵�

以400G Q112 VR4� ?槲饰鯠SP光� ?榈氖虑樵硪约案鞑考囊ψ饔�。(SR、DR� ?榻峁雇即笾孪嗤�,只是所用的电光转换计划差别,SR用VCSEL,DR用EML或者硅光) 

DSP光�?槭虑樵�

 

1、交流芯片发送4*112Gbps PAM4电信号进入光� ?橹�

2、DSP芯片会将经由的电信号举行重整形然后发到Driver端

3、Driver作为驱动将电信号传输到激光器处

4、VCSEL激光器把电信号转光信号并发到光纤

5、光信号经由光纤抵达对端光� ?榈腜D光电二极管阵列后被转换成电信号

6、TIA将转换后的电信号举行信号放大并送到DSP芯片

7、DSP芯片再次将电信号举行重整型后发送到交流机芯片上

 

三、光� ?槭手副�

失效率为何被关注

相较于交流机、服务器等装备,光� ?榈慕峁棺攀凳墙狭考蚱拥�,但就是云云简朴的光� ?樵谒懔ν缰幸彩侵凉刂饕谋4�。虽然简单� ?榈氖式狭康�,可是放在万卡以上的集群中也会被放大数倍。� ?榈氖Щ嵩斐梢欢ǜ怕实墓收媳�,故障又会导致训练营业的中止,重新启动训练需要特另外耗时,无形中增添了集群的运营本钱。因此光� ?榈氖市枰恢厥悠鹄�。

 

失效率指标界说

FIT(Failures In Time)失效率是一个权衡产品或系统在单位时间内爆发故障的频率的指标。它通常用来形貌在一准时间规模内,特定命目的产品或系统预计会泛起几多次故障。FIT是一个无量纲值,体现的是每十亿小时内的故障次数。例如,若是一个产品在10亿小时内爆发了100次故障,那么它的FIT失效率就是100 FIT。这体现在视察的时间段内,每十亿小时可以预期会爆发100次故障。

光� ?榈氖�=� ?橹兴性骷实那蠛�,好比某个光� ?榈睦砺凼�=155.63FIT,意味着在十亿小时内可以预期会爆发155.63次失效。

简单� ?楸⒁淮问枰男∈笔�=10亿/155.63≈8647744(小时)换算成一个好明确的方法即为单个� ?樵�8647744个小时内会泛起一次失效,单看这个数据感受� ?榈目煽啃院苁歉�,但放在整个集群中我们来看看详细数据。

 

光�?槭手副�

 

如图所示,我们枚举了差别集群规模下所需要的光� ?槭恳约八泄饽 ?楸⒁淮文 ?槭У木嗬胧奔�,不难看出这是一个随着� ?槭勘浯蠖菰锏菁醯暮�。

简单� ?榈氖试谕蚩ㄒ陨系募汗婺V斜环糯罅�,理论上在32K卡的集群中或许每两天就会爆发一次� ?槭�,这样来看� ?榈氖收站上嗟敝档霉刈⒌�。

 

导致光� ?槭首涞闹饕蛩�

有两个主要因素会引起失效率转变,一个是� ?槟诓康脑骷�,另一个是� ?樽陨淼氖虑槲露�。

详细转变关系是:

1、� ?樵骷缴�,失效率越低

2、� ?槭虑槲露仍降�,失效率越低

 

古板DSP光� ?槭势饰�

古板DSP� ?榧苹谑史矫婊贡4嬉韵氯毕荩�

1、� ?樵骷唷⑹虑槲露雀撸�DSP� ?椴坏蠨SP芯片,还包括周边的晶体振荡器、Flash、电源等一系列芯片,且功耗占比凌驾50%,会显著提升� ?榈氖虑槲露�。

2、� ?樵骷约菏矢撸�DSP� ?槿羰墙幽蒃ML或VCSEL计划,会包括多颗疏散的III-V族激光器,而激光器自己的失效率就会偏高。

基于以上剖析可以看到导致DSP� ?槭У闹饕倒试墒瞧骷慷唷⑹虑槲露雀�,好比DSP及周边芯片、EML/VCSEL激光器等。要想降低� ?榈氖收站傻么尤唇饩鑫侍�,下面我们来先容一下LPO(Linear-drive Pluggable Optics)� ?榧苹�。

 

四、LPO光� ?榻饩黾苹�

LPO� ?� 

LPO�?� 

LPO � ?槿サ袅斯虐錎SP� ?橹械腄SP芯片,使用交流芯片中DSP举行电信号的处置惩罚,� ?橹薪幽赏ɡ阅艿腄river和TIA芯片,并选用合适的电光转换计划,即可以实现优异的传输性能。电光转换部分可以接纳VCSEL、EML或者硅光计划,硅光具有更好的线性度、更低的电反射。为了包管供应以及更高的可靠性,97国际网络接纳了硅光手艺计划。更多LPO基础看法的先容可以参考往期文章揭秘智算中心网络建设新利器:LPO手艺的泛起。

 

LPO� ?槭势饰� 

LPO�?槭势饰� 

LPO�?槭势饰�

 

上述图表展示了400G� ?樵谙嗤 ?槭虑槲露�55°C情形下,差别手艺计划的失效率比例关系� ?梢钥吹皆谙嗤 ?槭虑槲露认�,LPO+硅光计划的失效率更低,其他计划失效率为LPO+硅光计划的1.31~2.34倍左右。

这样的对例如式是从理论上评估差别� ?榈氖�,因此会控制事情温度坚持稳固。而在现实安排中,LPO+硅光� ?榈氖虑槲露认嘟嫌贒SP计划会更低,因此失效率可以获得进一步的降低。 

壳温比照

 

如上图所示,在相同的情形温度情形下,LPO� ?榈�事情温度比DSP� ?橐�15°C左右。 

Radom Failure Rate VS Temperature 

团结上述图表,可以看到LPO� ?槲露却�55°C降低到40°C后,失效率下降了50%,具备更高的可靠性。 

400G DR4/SR4 Radom Failure Rate @ CL=60% 情形温度相同 

从现实安排场景来看,将差别手艺计划的400G� ?榉旁谙嗤�情形温度下举行比照,能够看到LPO+硅光计划的失效率获得进一步降低,这就是� ?槭虑槲露�较低带来的收益。

 

总结

基于以上理论剖析团结现实数据来看,LPO+硅光的计划相较于其他计划而言失效率是较低的。焦点缘故原由在于以下两点:

1、移除DSP芯片:去掉DSP芯片后可以较大幅度降低� ?槭虑槲露�,降低因高温给激光器带来的影响。

2、接纳硅光手艺:如下图所示,光电转换部分接纳硅光计划后可以让硅光芯片认真信号调制,Laser仅需要提供直流光,无需调制信号。比照EML计划需要4个激光器以及TEC,硅光计划的Laser只需要1个,镌汰了� ?樵骷氖�,降低失效率。

 

接纳硅光手艺 

 

五、LPO光� ?樾阅懿问�

只具备更低的� ?槭驶谷狈σ匀肔PO� ?樘婊籇SP� ?�,我们还应评估光� ?榈目捎眯�,也就是关注BER(误码率)和SEN(迅速度),这两个指标的性能参数需要能抵达协议门限的标准。

 

光� ?锽ER&SEN评估要领 

光�?锽ER&SEN评估要领 

通过调理光衰减的巨细,获得差别RX光功率下的BER,将所有测试效果汇总到一起绘制成BO曲线。 

97国际·(中国区)集团官方网站 

当光功率一直调�。ㄍ急碇泻嶙晗蜃蟮鹘馇魇疲�,直到BER即是FEC门限划定的2.4e-4(图表中纵坐标向上调解趋势)时,纪录此时的光功率就是光� ?榈难杆俣龋⊿EN)。通常的BER都是在没有加光衰减器的情形下测试的,即在BER error floor区间测试的效果。

SEN越小说明光� ?樵侥苋萑谈〉墓夤β�,对现实的安排有较量大的资助,好比由于讨论脏污、滥觞光功率变小、光纤讨论插损大等会造成光功率变小的情形。

 

LPO DR� ?榈男阅懿问�

以下是差别计划� ?樵诔N露滔顺【爸械牟馐允� 

97国际·(中国区)集团官方网站 

从BER图表数据可以看到以下征象:

1、LPO DR� ?榈腂ER和协议门限相比有5个数目级的余量。

2、LPO DR与DSP+硅光计划的BER参数靠近,且优于DSP+EML计划 2~3个数目级。 

97国际·(中国区)集团官方网站 

从SEN图表数据看到以下征象:

1、LPO DR� ?榈腟EN和协议门限相比有3.5dB的左右余量。

2、三种计划在SEN参数方面相差不大。

 

基于以上征象可以得出结论:LPO+硅光性能参数靠近DSP+硅光,优于DSP+EML计划,因此可以替换现有的DSP DR计划。

 

六、LPO光� ?榈钠渌找�

LPO光� ?槌烁呖煽啃约案呖捎眯哉饬降阃�,在其他维度也具备一定的价值收益。

1、更低功耗:去掉DSP芯片后,光� ?榈淖畲蠊目梢越档�51.3%左右,低于4W(壳温70℃测试)。 

LPODR4 VS DSP DR4�?楣谋日�

 

2、更低时延:� ?橹猩倭薉SP芯片,镌汰一跳,时延可以降低95%,知足更低延迟的应用场景。 

LPODR4 VS DSP DR4�?槭毖颖日�

 

3、优异供应:古板DSP� ?榈腄SP芯片和VCSEL激光器现在供应较量主要,且交期较量长,大规模交付有供应危害。LPO� ?榧苹サ袅薉SP芯片,并且接纳硅光手艺,阻止使用供应主要的DSP芯片和VCSEL芯片,在一定水平上规避了要害器件的供应危害。

 

七、97国际LPO光� ?椴� 

97国际·(中国区)集团官方网站 

97国际·(中国区)集团官方网站

 

97国际网络聚焦AIGC算力网络场景妄想设计了三款LPO DR的自研光� ?�,知足以下三种网络架构的互联需求。

 

97国际·(中国区)集团官方网站

 

现在正在配合各大厂举行适配测试事情,敬请期待。

97国际网络,作为GenAI时代的全栈服务专家,致力于为企业提供笼罩IaaS到PaaS的全栈产品及解决计划。我们的产品笼罩高性能网络与GPU算力优化调理,旨在通过立异手艺解决计划,资助客户实现生产效率的奔腾与运营本钱的优化。我们坚信,通过我们的起劲,能够为客户打造一个越发智能、高效和可靠的未来。让我们携手,配合探索AI时代的每一个时机。

相关标签:

97国际·(中国区)集团官方网站 97国际·(中国区)集团官方网站

点赞

更多手艺博文

任何需要,请联系97国际

97国际·(中国区)集团官方网站

返回顶部

收起
97国际·(中国区)集团官方网站 文档AI助手
97国际·(中国区)集团官方网站 文档评价
资料内容是否对您有资助 ?
您对目今页面的知足度怎样 ?
不咋滴
很是好
您知足的缘故原由是(多�。� ?
您对文档是否尚有其它的问题或建议 ?
为尽快解决问题,请您留下联系方法以便回复
邮箱
手机号
谢谢您的反�。�
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
请选择服务项目
关闭咨询页
售前咨询 售前咨询
售前咨询
售后服务 售后服务
售后服务
意见反响 意见反响
意见反响
更多联系方法
网站地图