97国际

不必推倒重修,老终端也能焕新 丨 97国际教育云电脑老客户升级分享会
预约直播
融合光加速,慧联全场景 丨 97国际极简以太彩光5.0 界说万兆园区全场景新范式
预约直播
97国际·(中国区)集团官方网站
产品
< 返回主菜单
产品中心
产品
解决计划
< 返回主菜单
解决计划中心
行业
合作伙伴
返回主菜单
选择区域/语言
97国际·(中国区)集团官方网站

您订阅的产品有更新,请实时查阅

审查详情
97国际·(中国区)集团官方网站 97国际·(中国区)集团官方网站

全调理以太网(GSE),中国智算网络新标准

GSE网络作为一种全调理以太网手艺,专为大规模AI训练集群设计,通过按需调理实现无损性能,提供无邪快速的安排计划,构建开放生态,显著提升智算效率和运维体验。

  • 97国际·(中国区)集团官方网站

    宣布时间:2024-08-21

  • 97国际·(中国区)集团官方网站

    点击量:

  • 97国际·(中国区)集团官方网站

    点赞:

分享至

97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站

我想谈论

陪同着智算手艺的生长,越来越多的研究批注在 AI 训练抵达一定规模下能力才会涌现,在AI大模子的扩展定律和涌现能力的驱动下,AI大模子的参数规模越来越大。海内外业界已泛起多个万亿参数模子,十万亿参数模子在不远的未来也有望问世。果真资料批注,GPT-4 的参数体量比 GPT-3 增添了 10 倍,抵达 1.8 万亿参数。海内的盘古、悟道大模子,其参数规模同样凌驾了万亿。

 

97国际·(中国区)集团官方网站

 注:数据阻止23年3月,资料泉源:北京智源人工智能研究院,中金公司研究院

 美国外地时间7月22日,特斯拉CEO埃隆·马斯克在旗下社交平台X上体现,xAI团队、X团队、英伟达及其他支持公司已经于外地时间破晓4时20脱离始在“孟菲斯超等集群(Memphis Supercluster)”上举行训练。“孟菲斯超等集群”由10万个液冷H100 GPU组成,在单个RDMA结构上运行,是“天下上最强盛的人工智能训练集群”,该集群将被用于训练xAI旗下第三代大语言模子Grok-3。大规模AI盘算从万卡进入到十万卡时代。

大规模智算集群需要高性能的网络毗连,以包管各智算节点间的通讯效率、数据吞吐和整个智算集群的算力性能。这对智算网络提出了新的挑战。

在基础训练模子中,一方面多使命混淆安排,古板以太网源端发流直接接纳网络“Push”流量模式,不思量网络及吸收端的接受能力,导致网络拥塞,使得 GPU 处于期待状态,造成梯度和参数同步历程中算力资源铺张较大,古板的 RoCE 网络有用吞吐仅为 50%;另一方面,智算集群网络流量泛起出数据流数目少、单流流量大的特点,在古板网络平衡算法下容易引发HASH 冲突,造成链路丢包,导致训练异常中止,极大影响训练效率。时代召唤 “零丢包”、“高吞吐”、“低时延” 为焦点特征的无损智算网络装备,来解决超大规模 AI 盘算通讯效率低的问题。

 

97国际·(中国区)集团官方网站

 

目今全球已商用的智算网络手艺,主要有2大门户:

门户1:IB(InfiniBand)网络,是现在市场占有率最高的智算网络解决计划,IB 手艺较为关闭,市场基本被英伟达垄断,不切合全球开放生态的工业共识。

门户2:RoCE(RDMA over Converged Ethernet)网络,RoCE普遍应用于需要高带宽和低延迟的网络,在古板的通算领域有很高的占有率,可是RoCE在智算网络中保存流量HASH极化的问题,需要辅助以种种平衡调参举行智算网络的适配。

 

为了更好的提升智算网络性能,更好的服务于大规模 AI 盘算,泛起了更多的新型手艺门户:

新手艺门户1:UEC(Ultra Ethernet Consortium)网络,2023 年 7 月Linux 基金会与全球头部科技企业团结建设 UEC 以太网立异同盟,其首创成员包括AMD、Arista、博通、思科、HPE、Intel、Meta、微软、Oracle和Eviden,致力于从物理层、链路层、传输层、软件层刷新以太网手艺的刷新,来知足 AI 盘算网络的需求。

新手艺门户2:GSE(Global Scheduling Ethernet)网络,中国智算中心的建设热潮始于 2020 年,现在已有 40 多个都会在建设或在建智算中心。智算中心建想程序加速,但海内的网络手艺生长却滞后于 AI 大模子的演进。AI 网络手艺上的竞争已经成为中美手艺博弈的新战场。在这样严肃的形势下,2023 年 5 月,中国移动团结工业界宣布了全调理以太网(GSE)白皮书,同年8 月全调理以太网推进妄想正式开启,标记着具有中国自主手艺的 GSE 门户正式降生。
 

97国际·(中国区)集团官方网站

 

GSE 是一个开放的生态组织,2023 年 9 月,中国移动宣布GSE 交流机原型系统样机。2024 年 1 月在移动实验室完成了GSE 交流机多厂商装备的互联互通测试。 

97国际·(中国区)集团官方网站

GSE 网络,专为大规模 AI 训练集群打造

按需调理,性能无损

GSE 网络基于 PKTC 容器手艺,实现了高精度的网络负载平衡,从基础上改善了古板 AI 算力网络链路的带宽使用率;接纳基于 DQSQ 的信令申请调理手艺,数据流以“Pull”的方法举行转发,突破了古板以太网的性能瓶颈,网络性能提升至 95%以上。

97国际·(中国区)集团官方网站

在多营业安排场景下,相较于古板 RoCE 网络性能大幅下降,GSE 交流性能坚持与单营业场景持平的网络转发性能,大幅提升网络效率。

 

场景无邪,快速安排

GSE纯网侧计划即可知足智算无损需求,可搭配国产 GPU 集成网卡,降低端侧网卡要求。GSE手艺原生解决了适配差别大模子训练的网络调参问题,阻止了古板RoCE达数天甚至数周的网络参数调优,在算力腾贵、AI大模子竞争强烈的市场中,为客户带来无邪的算力网络建设计划,缩短了训练调优周期,资助客户快速抢占市场先机。

 

97国际·(中国区)集团官方网站

 

全局解耦,开放生态

GSE 手艺系统支持标准以太网标准,新增标准协议头,完成基于以太报文的转发,实现端到端的多厂家装备互联互通,构建了多厂家充分加入的开放生态,周全激活海内 AI 工业链,增进智算工业立异生长。

 

GSE标准协议头

GSE标准协议头

 

总结

97国际网络致力于与 GSE 生态一起打造中国的AIGC智算网络新标准。GSE 网络装备基于标准以太网在转发架构方面举行手艺立异,突破古板以太网的性能瓶颈,拓展智算网络的应用场景,充分知足国产化智算集群网络的需求,为客户带来了三大焦点价值:提高智算效率,增强运维体验,开放生态解耦。

相关标签:

97国际·(中国区)集团官方网站 97国际·(中国区)集团官方网站

点赞

更多手艺博文

任何需要,请联系97国际

97国际·(中国区)集团官方网站

返回顶部

收起
97国际·(中国区)集团官方网站 文档AI助手
97国际·(中国区)集团官方网站 文档评价
资料内容是否对您有资助  ?
您对目今页面的知足度怎样  ?
不咋滴
很是好
您知足的缘故原由是(多�。�  ?
您对文档是否尚有其它的问题或建议  ?
为尽快解决问题,请您留下联系方法以便回复
邮箱
手机号
谢谢您的反�。�
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
97国际·(中国区)集团官方网站
请选择服务项目
关闭咨询页
售前咨询 售前咨询
售前咨询
售后服务 售后服务
售后服务
意见反响 意见反响
意见反响
更多联系方法
网站地图