昇腾384超节点:业界最大规模高速总线互联超节点,突破AI算力互联瓶颈

昇腾384超节点:业界最大规模高速总线互联超节点,突破AI算力互联瓶颈

来源:鲁网 2025-05-28 15:14
  • weixin
  • weibo
  • qqzone
分享到微信

2025年5月23日,在备受瞩目的鲲鹏昇腾开发者大会2025—昇腾AI开发者峰会上,华为重磅推出昇腾超节点技术,成功实现业界最大规模的384卡高速总线互联,为人工智能领域带来全新变革,正式开启AI新纪元。

当前,大模型发展呈现参数与效率交替演进的态势。一方面,Scaling Law不断推动模型能力突破极限;另一方面,以DeepSeek为代表的创新架构与工程技术,正加速模型能力在千行万业的落地应用。在此背景下,MoE成为主流模型结构,其复杂的混合并行策略带来巨大挑战,TP、SP、EP单次通信量高达GB级且难以掩盖。随着并行规模持续扩大,传统服务器跨机带宽已成为训练的核心阻碍,亟需计算架构的创新升级以适配未来模型发展。

传统服务器依赖以太网络实现跨机互联,通信带宽较低。实践表明,当TP、SP或EP等分布式策略的混合并行域超过8卡时,跨机通信带宽便成为性能瓶颈,导致系统性能大幅下降。

华为昇腾超节点打破了以CPU为中心的冯诺依曼架构,创新提出了对等计算架构,凭借高速总线互联技术实现重大突破,把总线从服务器内部,扩展到整机柜、甚至跨机柜。在超节点范围内,用高速总线互联替代传统以太,通信带宽提升了15倍;单跳通信时延也从2微秒做到200纳秒,降低了10倍,使集群如同一台计算机般协同工作,有效突破系统性能限制。

此次推出的昇腾384超节点,由12个计算柜和4个总线柜构成,是目前业界规模最大的超节点。依托华为在ICT领域深厚的技术与工程经验,通过最佳负载均衡组网方案,该超节点可进一步扩展为包含数万卡的Atlas 900 SuperCluster超节点集群,为未来更大规模的模型演进提供有力支撑。

性能测试数据显示,在昇腾超节点集群上,LLaMA 3等千亿稠密模型性能相比传统集群提升2.5倍以上;在通信需求更高的Qwen、DeepSeek等多模态、MoE模型上,性能提升可达3倍以上,较业界其他集群高出1.2倍,在行业中处于领先地位。

华为表示,未来将持续加大创新力度,携手全球开发者在昇腾社区共同构建智能时代高效算力底座,为千行万业的大模型创新提供强劲动力,推动人工智能技术在更多领域的深度应用与发展。

 

免责声明:该文章系我网转载,旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议,仅供读者参考。

【责任编辑:程慧海】
中国日报网版权说明:凡注明来源为“中国日报网:XXX(署名)”,除与中国日报网签署内容授权协议的网站外,其他任何网站或单位未经允许禁止转载、使用,违者必究。如需使用,请与010-84883777联系;凡本网注明“来源:XXX(非中国日报网)”的作品,均转载自其它媒体,目的在于传播更多信息,其他媒体如需转载,请与稿件来源方联系,如产生任何问题与本网无关。
版权保护:本网登载的内容(包括文字、图片、多媒体资讯等)版权属中国日报网(中报国际文化传媒(北京)有限公司)独家所有使用。 未经中国日报网事先协议授权,禁止转载使用。给中国日报网提意见:rx@chinadaily.com.cn
C财经客户端 扫码下载
Chinadaily-cn 中文网微信