大模型参数一旦超出单卡显存，决定训练和推理效率的就不再是加速卡的峰值算力数字。数据在算力、网络、存储三者之间搬运的速度，以及等待的时间，才是真正的瓶颈所在。中科曙光近期发布的Token加速技术体系，把scaleFabric原生无损RDMA当作网络底层，在算力、存储、传输三个层面做紧耦合，试图让Token在训练、推理、存储全流程里少停顿。
从GDR到IBGDA：通信路径的两次减法
先看计算环节。scaleFabric原生支持GPUDirect RDMA，也就是GDR。这项能力让网卡直接读写GPU显存，跳过传统路径里”显存→CPU内存→网卡”的那次拷贝。接收端同理。绕开主机CPU和系统内存之后，通信延迟和CPU开销都会明显下降。
但GDR只解决了数据面。通信任务的下发、元数据处理，仍然要CPU参与。RDMA通信分控制面和数据面，传统GDR优化的是后者。
IBGDA往前走了一步，把控制面和数据面都放到GPU上。GPU Kernel可以直接驱动InfiniBand网卡，不依赖CPU就能发起和管理节点间通信。典型流程是：GPU内核在显存里准备好数据并写入工作队列，直接向网卡门铃寄存器写入以通知网卡，网卡再通过GDR从显存读取工作描述符和数据，完成RDMA发送。从搬运到任务下发，全程在GPU侧。
这套机制对MoE架构尤其关键。MoE推理过程中存在大量高频并发的小消息，All-to-All通信密集。让GPU自己发起和管理通信，能进一步压低小消息时延。scaleFabric较早支持IBGDA，属于国内首批规模化应用该技术的网络产品之一。
需要提醒的是，IBGDA的软件栈有版本门槛。GPU Kernel直接操作网卡门铃寄存器，依赖较新的CUDA运行时和配套驱动，通信库侧也需要对应版本的支持。实际部署前应确认驱动、CUDA、通信库三者版本匹配，否则会出现WQE下发失败或通信挂起。适配国产加速卡时，建议先用单机双卡跑通All-to-All小消息基准，确认门铃写入路径正常后再上集群。
存储直通的三条通道各管什么
存储环节围绕Token访问瓶颈，scaleFabric构建了一套存储直通体系，包含NVMe over RDMA、XDS和NFS over RDMA三项技术，分别对应远端NVMe访问、GPU直连远端存储、传统文件存储加速。
NVMe over RDMA主要面向KVCache这类需要大量缓存的场景。KVCache通常以块数据形式存在，计算节点通过低时延无损RDMA网络高速访问远端NVMe，体验接近本地硬盘，存储访问延迟可降低80%以上。在KVCache卸载、分布式训练数据读取、推理数据访问中，存储不再卡住Token生成，TTFT随之缩短。
NFS over RDMA解决的是文件存储协议场景。它把NFS文件存储体系跑在RDMA高速网络上，训练任务不用改变应用习惯就能获得加速。原理是RDMA网卡直接把数据从存储节点内存传到计算节点内存，无需CPU介入、无需内核参与、无需多次拷贝。有实践数据显示，采用后GPU利用率可从约55%提升到95%以上，单轮训练时间减少30%至60%。
XDS即XPU Direct Storage，面向AI算力集群的加速卡直通存储。它允许GPU、DCU等加速处理器绕过主机CPU和系统内存，通过RDMA网络直接访问远端存储，数据从存储节点发出后经RDMA网卡直接写入XPU显存，实现端到端零拷贝。XDS与GDS技术路线对等，是存算分离架构下实现存储直通的关键能力。
三项技术不是互斥关系，而是按场景配合。训练数据的顺序加载和Checkpoint读写属于文件访问，走NFS over RDMA；其中的热点数据用Burst Buffer或NVMe高速闪存承接，NVMe over RDMA进一步提升性能；KVCache卸载和相关读写则通过XDS让GPU直接访问远端数据。三者紧耦合、协同工作。
网络底层：为什么绕开PFC很关键
网络环节，scaleFabric的单跳转发时延低至纳秒，端到端时延低于微秒，转发性能对标InfiniBand，与英伟达NDR持平，优于主流RoCE方案。三跳基准测试中，以4k以上大消息包为例，scaleFabric三跳时延较RoCE方案低约63%。
更值得说的是无损实现方式。scaleFabric基于严格无损的网络协议，大规模组网时不依赖PFC来近似无损。这一点在工程上意义不小。RoCEv2依赖PFC做链路级流控，而PFC在大规模组网中存在死锁风险——一旦某条链路触发PFC暂停帧，拥塞可能沿依赖环扩散，形成整个网络的停顿。ECN的参数调优同样敏感，阈值设置不当会导致吞吐骤降或时延抖动。集群规模越大，这类问题越难排查。scaleFabric的原生无损协议从机制上规避了PFC依赖，扩展到大规模集群时性能损失更可控，相比RoCE更适合大规模数据传输。
MoE推理时代IBGDA补的是什么位
MoE已成为主流大模型架构。以DeepSeek为例，它通过DeepEP等方式做专家并行通信，用NVSHMEM支撑大规模MoE All-to-All通信，过程中产生大量高频并发小消息。这正是IBGDA的用武之地。
万伟指出，IBGDA目前主要应用于MoE通信，特别是All-to-All场景。这类场景高频、大量、并发小消息，非常适合IBGDA。而低频、顺序传输大块数据的传统场景，瓶颈可能在存储或计算环节，IBGDA收益就不明显。
此前IBGDA规模化实现由国际厂商主导，国产RDMA网卡与GPU直通的案例罕见。中科曙光自研IBGDA技术已在十万卡级大规模集群中完成验证。scaleFabric已完成与DeepEP等通信框架的适配。
实际效果方面，万伟强调TTFT优化幅度与整体架构、场景、模型、GPU Kernel优化都相关。效果较好时整体性能约提升20%至30%，这是多方面优化的总体成果，不单是IBGDA的贡献。瓶颈集中在通信环节时，网络优化贡献更大；瓶颈在计算或其他环节，改善相对有限。
PD分离场景下，Prefill完成后要把大量KVCache传给Decode节点。上下文越长，KVCache数据量越大，网络传输在TTFT中的占比越高，scaleFabric的低时延高带宽优势越明显。当然，这一过程也受存储性能、HBM访问性能、Decode计算影响，具体幅度要结合模型和并发度判断。
生态适配与下一代演进
从产业角度看，IBGDA在scaleFabric中的规模化应用，对国产AI计算基础设施的自主迭代有实际意义。IBGDA本身是软件优化手段，需要针对不同国产算力卡逐一适配。scaleFabric网络可支持不同异构算力平台。
国产算力卡与国外产品单卡算力仍有差距，系统级创新是重要方向。国内算力发展依靠集群和多卡互联，通过增加计算卡数量、改善多卡通信效率来满足大模型算力需求。多卡之间的数据通信效率，直接决定整体计算效率。IBGDA的规模化应用，是提升多卡效率的支撑之一。
改造成本上，IBGDA是软件技术。在部分国产生态和NVIDIA生态中已完成适配，用户启用支持IBGDA的通信库即可。其他国产加速卡需要时，曙光可提供参考代码，改造难度不高，主要是适配工作量。上层应用无感，基于DeepEP框架无需修改业务代码或上层框架，可直接运行。底层适配对上层软件不可见，使用方式一致。
对于网络与存储全程优化是否会成为AI计算集群标配，万伟认为会。未来AI计算一定向集群化发展，低时延网络和高性能存储都会成为标配。scaleFabric后续最基础的演进方向是更高带宽和更高交换容量，下一代将推出800G网络产品和网卡，支持多平面、包喷洒等能力，并支持更多优化的拥塞控制算法，提供更好的用户可配置能力。同时保持免维护网络管理和链路故障后的路由快速恢复能力。集群规模扩大后，网络整体稳定性、长尾时延和故障恢复仍是挑战。
生态方面，中科曙光北京公司scaleFabric产品经理纵瑞博补充，曙光采用开放架构，希望scaleFabric网络与更多国产厂商产品完成适配优化，在RoCE和NVIDIA InfiniBand之外提供高性价比的国产原生无损RDMA方案。曙光网络技术全部自主开发，包括对IBGDA等先进架构的支持，能与GPU、CPU和其他硬件厂商协同开发。
Token效率正在成为大模型竞争的新标尺。scaleFabric以原生无损RDMA为底层，把计算、存储、网络三者紧耦合，打通Token全链路高速流转通道。IBGDA在国内首次规模化实现，让GPU更直接地驱动网络，在MoE等高频小消息场景中减少CPU参与关键通信路径，为国产智算基础设施通过系统级创新提升整体性能提供了新支点。
ID:6514
