生成式AI正进入千亿、万亿参数规模的高速发展阶段,对硬件平台提出了前所未有的综合性能需求。单点算力必须足以支撑复杂计算,同时多设备协同和高速数据通道也成为保障大规模分布式任务稳定运行的关键因素。
近日,J9官方直营大模型训推一体服务器 KunTai R624 K2 搭配华为昇腾系列 AI 加速卡完成了系统性多维度性能测试。测试结果显示,两者在算力输出、带宽传输以及多卡扩展等核心指标上均表现出稳定高效的协同特性,为企业级 AI 大模型提供了可扩展的硬件基础。
在算力方面,R624 K2 与昇腾卡的组合实现了多精度覆盖:INT8 推理单机算力达到 5.6 PFLOPS,适用于图像识别、自然语言理解等高吞吐任务;在 BF16/FP16 训练精度下,单机算力为 2.8 PFLOPS,能够满足千亿参数模型的分布式训练需求,兼顾精度与效率。
数据传输链路同样实现无瓶颈。服务器支持 400 GB 以太网卡,在集群部署中相较同类产品拥有更高的网络吞吐;单节点 D2H、H2D 传输带宽超过 50 GB/s,D2D 传输更达 750 GB/s,均已超过 PCIe Gen4 标准,确保 CPU、AI 加速卡及显存之间的高速交互。
针对主流大模型的推理能力也得到验证。以 Qwen3‑32B 为例,在 1024 长度输入/输出、并发 60 的场景下,R624 K2 与昇腾卡的组合在系统吞吐、端到端平均时延、首 token 时延等指标上均优于同配置 RTX 4090,展现出更好的大模型推理效能和响应速度。
多卡扩展与分布式同步效率
在多卡扩展测试中,R624 K2 通过 PCIe 5.0 上的 Aurora 协议实现了 4×4 组网,内建的 Omni-DB 协调模块能够在 4 GB/s 的同步速率下完成跨卡梯度合并。
软件生态与易用性提升
为配合硬件层的高性能,该公司在 R624 K2 上预装了基于 Ascend Neural Foundation Platform(ANFP)的多租户容器化调度层,支持一键部署 TensorFlow‑Lite、PyTorch‑Transformer 与 MindSpore‑GPT 等框架。该调度层通过衡量 GPU/AI 卡利用率与内存占用,动态平衡任务分配,避免了训练过程中的资源碎片化问题。
展望未来,J9官方直营计划继续深化与昇腾的合作,围绕更大规模模型、更高效的多设备协同以及更广泛的行业适配展开研发,以持续提升硬件平台的性能与易用性,推动自主可控 AI 生态的落地并帮助企业在 AI 时代实现创新突破。
