智算落地期的三重错配与推理降本路径

参数从百亿推到万亿，智算的问题早就不是”芯片快不快”。它变成了一道系统工程题：卡能不能连成有效算力，算力能不能压成可负担的服务。供给、效率、成本三条线缠在一起，任何一条掉链子，整条链路都跑不起来。

供给端：缺卡之后是结构性闲置

过去两年最直观的字是”缺”。GPU缺、HBM缺、先进封装产能缺、稳定电力也缺。训练需求指数级上涨，硬件扩产却以年计，错配成了常态。

2024年之后矛盾换了形态。头部云厂商和模型公司还在抢高端训练卡，中小客户和行业客户手里的算力却常常跑不满。机房建了、机柜上了，真正跑出业务价值的比例分化明显。

约束有三条。硬件异构化：不同厂商加速卡、不同代际GPU、不同互联方案混在一起，资源池难以统一。软件栈锁定：CUDA十余年攒下的算子库、编译器和开发者习惯，迁移不是重写代码，是重建整条工具链。电力散热：高密度机柜的功率密度远超传统数据中心，供电和制冷直接决定算力能不能稳定输出。

所以智算分三段走：有没有卡，卡能不能连成有效算力，算力能不能变成便宜好用的智能服务。行业正卡在第二段往第三段过渡的位置。

系统效率才是主战场

单卡峰值不再是唯一指标。互联带宽不够、并行策略失配、调度低效，集群MFU照样趴在地上。数据并行、张量并行、流水线并行、专家并行组合起来，哪一环成瓶颈都会拖垮整体吞吐。

互联这块最容易被低估。NVLink、InfiniBand、RoCE决定通信效率，也决定大规模训练的扩展性。实际部署里，RoCEv2集群如果PFC和ECN配置不当，会出现训练吞吐断崖式下跌，现象是GPU利用率周期性掉零、NCCL超时重试。排查先看 NCCL_DEBUG=INFO 输出的拓扑与通道建立日志，再用 NCCL_DEBUG_SUBSYS=NET 定位具体网卡；确认网卡固件、驱动与交换机QoS策略一致后，逐级压测。这类问题不会在单机跑分里暴露，只有上规模才现形。

调度层，Kubernetes正在往异构算力、拓扑感知调度、弹性训练方向演进。编译与算子层，图编译、算子融合、混合精度、量化决定同一份硬件能榨出多少有效算力。

MFU到底怎么算，很多团队口径不一。可实现的做法是用nsys抓训练窗口、ncu采关键kernel，按实际浮点运算量除以理论峰值再除以耗时，取稳定迭代段的均值。集群验收时看线性扩展比：节点数翻倍，吞吐提升低于70%就该查通信和调度，而不是继续加卡。

推理侧的逻辑和训练不同，拼的是时延、吞吐和成本的平衡。连续批处理、KV Cache复用、投机解码、模型蒸馏，都是压单位token成本的手段。

竞争重心已经从芯片参数转向系统工程能力。谁能把异构硬件、框架、调度、网络、存储和场景打通，谁才真正降低使用门槛。云厂商、芯片厂商、模型厂商、集成商的边界因此越来越模糊，全栈化既是技术必然也是商业必然。

推理成本决定商业下限

训练决定模型上限，推理决定商业下限。客户只问一件事：每次调用多少钱，值不值。成本压不下来，再强的模型也只是演示。

压力来自几处：参数规模和上下文长度推高显存与计算量；To C要低时延、To B要高吞吐，调度策略完全不同；推理集群不能弹性伸缩，空闲成本就转嫁给业务方；电力、散热、运维最终都摊进算力单价。

降本要几条线同时动。模型侧用蒸馏、剪枝、量化、MoE，在效果可接受的前提下砍开销。系统侧靠连续批处理、PagedAttention、KV Cache复用提吞吐。硬件侧探索专用推理芯片、存算一体、近存计算。运营侧用弹性调度、混部、峰谷定价拉高利用率。

工程上有个细节值得说。vLLM近几个版本把前缀缓存做成了显式开关 --enable-prefix-caching，多轮对话和长系统提示场景命中率很高，但短请求、高多样性的负载收益有限，盲目开启反而增加显存管理开销。--gpu-memory-utilization 默认0.9，在和其他进程混部的机器上必须下调，否则启动即OOM。压测判定别只看QPS，要同时记录P99时延、首token时延和显存峰值，三者任一恶化都说明批处理参数没调对。

推理优化的重要性会持续上升，甚至超过训练本身。训练是少数玩家的游戏，推理是几乎所有行业客户都要付的账。谁在推理效率和成本上占优，谁就攥住了商业化的钥匙。