从TOPS到Token吞吐：AI算力评估范式的工程化转向

AI芯片的发布会还在比TOPS，采购清单还在比TOPS，融资材料也还在比TOPS。这套评价体系在训练时代基本够用——训练是计算密集型负载，峰值算力越高，收敛越快。可一旦负载换成推理和Agent，TOPS就开始失真。

失真的根源不在算力本身，而在瓶颈位置变了。矩阵乘法的理论计算上限不再是约束，真正卡住系统的是显存容量、HBM带宽、KV缓存调度、跨卡互联、多级存储协同这些访存与系统工程问题。算力评估的标尺，正在从单卡硬件上限转向系统级有效产出。

Agent把瓶颈从单卡推到了集群

Agent不是一次问答，而是一个循环：规划、调工具、读结果、追加上下文、再思考。每转一圈，上下文变长，KV缓存膨胀。大量请求之间还共享相同的前缀片段，具有跨请求复用的可能。

单机单卡那点显存很快撑不住。真实集群里要处理的是分布式KV缓存池、GPU直通存储、RDMA网络、跨卡缓存共享。冷KV缓存得从HBM往下卸，落到主机内存、NVMe SSD，形成多级缓存体系，也就是常说的AI记忆存储。这时候系统是算力、内存、存储、网络四者协同的综合体，单卡TOPS只是其中一个不大的变量。

一张TOPS很高的卡，如果HBM带宽跟不上、互联延迟高、不支持全局KV缓存池，扔进Agent集群里，理论算力根本转化不成集群的Token产出。纸面数字和实际吞吐之间隔着整条访存链路。

前缀缓存不是一句“降90%”能概括的

原文提到前缀缓存最高可把prefill成本降低九成，方向没错，但实现时有引擎层面的细节。vLLM从0.6.x起把前缀缓存做成默认开启，靠块级哈希做前缀匹配；SGLang走的是RadixAttention，用基数树管理共享前缀。两者在纯共享前缀场景下都能显著省掉重复prefill，但混合长短请求并发时，调度策略不同，命中率和TTFT分布会有差异。

工程上不能只看“开了前缀缓存”就完事。得核对引擎暴露的metrics：缓存命中率、prefill耗时占比、TTFT的P50与P99。命中率上不去，多半是请求前缀不一致或块粒度对不齐，不是硬件问题。

多级卸载到底有没有生效，得测

把冷KV缓存卸到主机内存或NVMe，听起来顺理成章，实际是否生效需要验证。常规做法是压测时用nvidia-smi盯HBM占用曲线，看它是否在长上下文请求下保持平稳而非持续爬升；同时读推理引擎的缓存命中与卸载计数指标，确认卸载路径真的被走到。

判定标准很直接：卸载生效时，HBM占用被压住，长上下文请求的TTFT不会因为显存不足而剧烈抖动；一旦卸载路径带宽成为新瓶颈，会看到TPOT抬升、NVMe读带宽打满、GPU利用率反而下降。这时候该调的是存储层级配比，不是继续加卡。

商业账本算的是每百万Token成本

客户付费的计量单位是Token，不是TOPS。一张卡算力再高，功耗和采购成本也高，供电与冷却跟着涨。单位兆瓦能产出多少Token，才是智算中心长期运营的关键账。

由此衍生出更贴产业的二级指标：每千瓦Token吞吐、每万元硬件投入Token吞吐。这把评估从纯技术指标拉到了TCO核算，云厂商和智算中心的投资决策更认这个。

延迟同样不能忽略。TTFT决定Agent任务卡不卡，TPOT决定多轮循环的等待感。TOPS完全不覆盖延迟，拿它评估交互体验没有意义。

指标转向带来的设计连锁反应

当行业不再唯TOPS论，芯片设计重心会迁移：不再单纯堆计算核心，而是优先优化HBM容量与带宽、片上缓存、显存访问延迟，以及芯片对外存储和高速网络接口。面向长上下文推理的芯片，比如Rubin CPX，设计上针对百万Token场景优化KV缓存访问路径、提升HBM带宽、调整序列并行架构。国产芯片的迭代方向也在变，从比单卡理论算力转向对HBM适配、分布式KV缓存、GPU直通存储的原生支持。

逻辑反过来了：计算单元服务于访存，而不是访存去迁就计算单元。

Token吞吐还是软硬件一体化指标，推理引擎、KV缓存管理、模型压缩、前缀缓存、分布式调度的收益都算在里面。这些优化不改变芯片TOPS，却能实打实提升集群吞吐。芯片厂商、推理框架、存储厂商被放到同一把尺子下，全栈协同设计才有动力。