success cases
遵循国家IT安全指导及紧密跟随行业技术发展
某某互联网社区平台:多元动态联接架构智算网络规模化验证浏览数:3

某某互联网社区平台:多元动态联接架构智算网络规模化验证

随着大模型应用深入,智算网络面临机间通信占比激增带来的拥塞风险、低时延与高吞吐的双重压力以及动态流量模式导致传统调优失效等问题。项目基于多元动态联接架构完成国内首个智算网络集群的规模化验证,通过信元交换与智能流量调度实现全局负载均衡,免除参数调优,测试中单卡吞吐量最高达到三百八十余 Gbps,并完成系统容灾与交付验收。

一、项目背景

在 All-to-All 测试场景中,GPU 单卡吞吐量最高达到381.83 Gbps

在 All-Reduce 场景中,单卡吞吐量进一步提升至385.98 Gbps

作为业内领先的社区平台,某某互联网社区平台始终致力于AI技术创新与应用,将AIGC深度融入内容推荐与智能创作场景,自2023年起基础网络团队积极布局高性能网络方案,探索创新的智算网络架构,为大模型应用提供强有力的基础设施支撑。

近日,国内领先的社区平台某某互联网社区平台携手东方华展,率先完成了国内首个基于多元动态联接架构的智算网络规模化验证。本次验证主要针对网络带宽和响应延迟性能、集合通信能力以及系统容灾水平等维度展开,测试表现效果优异,充分展现了多元动态联接架构在支持大模型训练和高性能AI算力网络方面的技术优势,能够为某某互联网社区平台的AI业务创新提供高性能基础设施支撑。

随着大模型快速发展,智算网络正面临机间通信占比激增带来的拥塞风险、低时延与高吞吐双重压力、以及动态流量模式导致传统调优失效三大主要挑战。对此,东方华展依托多年技术积累,重新定义多元动态联接架构,推出新一代无损网络解决方案并携手某某互联网社区平台率先在实际业务场景中完成规模化验证。

针对此次规模化验证,平台基础网络负责人表示:“某某互联网社区平台始终坚持网络的开放性,将持续探索基于开放以太网的高性能网络方案。此次与东方华展联合测试基于多元动态联接架构的智算网络方案,不仅验证了新一代网络架构的技术可行性,也为某某互联网社区平台后续开展大模型训练网络优化等创新性研究奠定了坚实基础。该方案在先进性与普适性之间取得了良好平衡,为行业提供了高性能、低成本且易部署的网络新选择。”

二、方案设计与实施

多元动态联接架构实现全局负载均衡与高速AI通信

多元动态联接架构采用分布式设计,通过信元交换技术实现网络100%负载均衡,并结合VOQ+Credit智能流量调度,实现训练集群的无阻塞转发和极速通信。该架构首次将信元交换与以太网协议融合,构建以太网原生的全局调度能力,实现端侧完全解耦,兼容主流GPU供应商,并顺应国产GPU趋势,充分释放硬件性能。此外,网络具备免调参能力,大幅降低运维和部署复杂度。多元动态联接架构还全面适配All-Reduce、All-to-All等主流集合通信,为Dense、MoE等大模型提供稳定高效支撑,并保持对未来新兴训练范式的前瞻兼容性。

东方华展高级副总裁、网络产品线总裁表示:“我们很高兴与某某互联网社区平台合作完成多元动态联接架构的规模化落地。东方华展一直致力于智算网络技术的创新突破,多元动态联接架构是我们面向AI大模型时代推出的革命性网络解决方案。测试结果充分证明了多元动态联接在性能、免调优和运营成本等方面的综合优势,这为大规模智算中心建设提供了新的选择。我们期待与某某互联网社区平台继续深化合作,共同推动AI基础设施的创新与发展,助力中国大模型生态繁荣。”

规模化验证多元动态联接智算网络高效、稳定、免调参

在测试阶段,双方团队根据某某互联网社区平台智算业务高并发、大流量特点,开展了带宽和延迟基准测试、All-to-All和All-Reduce集合通信测试,以及系统容灾测试。结果显示:多元动态联接架构显著提升网络利用率,有效避免拥塞导致的时延和抖动。AlltoAll场景中,GPU单卡吞吐量最高可达381.83Gbps,AllReduce场景中,GPU单卡吞吐量更可达到385.98Gbps。同时,架构可快速响应多种硬件故障,智能调度带宽资源,实现即插即用和“网络内免调参”,显著简化运维工作。

上线测试基于已部署完毕的智算网络集群,训练网络验证环境使用了2台核心交换机,8台接入交换机,4台GPU服务器。每台GPU服务器配备8张卡,分别连到8台接入交换机上,每台接入交换机分别与两台核心交换机相连,确保每台接入交换机与核心交换机间连线数量一致,构成智算网络集群。

此外,基于多元动态联接架构的智算交换机也在实际部署中充分体现了其价值:它不仅提升了大规模智算网络的负载能力,缩短了模型训练时间,还为某某互联网社区平台的AI应用提供了高效、可靠的算力基础,推动AI与内容生态的深度融合,将大模型技术融入用户的每一篇笔记和每一次搜索中。未来,某某互联网社区平台技术团队将与东方华展持续深化合作,基于多元动态联接架构的AI加速能力,在内容推荐算法优化、智能创作工具开发和实时数据分析等领域共同探索,不断提升用户体验和创作效率。

在验收测试阶段,双方团队通力协作。鉴于这是国内首个智算网络集群落地项目,缺乏可借鉴的验收标准。团队以传统RoCE网络验收方案为基础,结合多元动态联接实现无损网络的技术特性,共同制定了针对性的验收体系。通过系统调整集合通信库、QP、ECN、PFCratio、Headroom、PXN等参数,全面验证了智算网络集群的网络性能,并基于业务场景对系统冗余性进行了深度测试,高效完成了智算网络集群交付验证及容灾保障工作,确保集群上线和生产业务承载。首批设备上线当天即完成调试与基础配置,为后续部署积累了标准化流程经验,确保项目高质量如期完成。

我们相信,随着大模型技术持续发展,这类创新网络架构带来的高性能、高开放度和免调优特性,将成为用户AI基础设施建设中的网络方案更优选择。

三、东方华展的交付与服务

东方华展在该项目中承担整体规划、实施交付与后续运维支持工作,按以下阶段推进:

阶段主要内容
需求调研与现状评估现场勘查业务系统、机房与网络现状,梳理承载对象、性能基线、合规要求与业务窗口,形成现状评估与建设目标。
方案设计与选型验证结合现状与目标输出整体架构设计,明确资源规划、网络规划、容灾规划与安全设计,并对关键环节做验证与试点。
部署实施与业务迁移按业务优先级分批实施,制定迁移与回退方案,在业务窗口内完成割接,迁移过程全程可控、可回退。
安全加固与合规配合按等级保护与行业合规要求完成安全策略配置与加固,配合用户完成测评与整改。
运维托管与持续优化提供日常巡检、健康度评估与故障响应;上线后结合运行数据持续做容量与性能优化。
文档交付与知识转移交付拓扑、配置、操作与应急预案等文档,并对用户运维人员开展培训与知识转移。

四、关于东方华展

北京东方华展经贸有限公司成立于 2007 年,是一家 IT 综合解决方案服务商,定位「您身边的 IT 专家」,业务覆盖咨询规划、产品集成、实施交付、运维外包、数据安全五大领域,长期服务金融、政府、交通、能源、航空航天等行业客户。

咨询与服务热线:010-52850389 · 13911411199|邮箱 hc@dfhz.com|地址:北京市昌平区昌崔路 198 号红石座 1 号楼

服务热线:

010-52850389

地址:北京市昌平区昌崔路198号红石座1号楼905
邮箱:hc@dfhz.com


京ICP备13014451号-2