推理正在变成硬件产业的新战场。黄仁勋在 GTC 2026 上把这一年称为”推理的拐点”，而核心矛盾只有一个：算力不缺，数据喂不进去。
推理为什么突然成了主角
推理模型会反复自我追问，高推理强度下产出的文本量能达到无推理时的 20 倍。再加上 agentic AI，推理不再是用一次答一次，而是 24 小时自主运转。
需求爆炸的结果是巨头们各找各的路：OpenAI 和 Amazon 用上了 Cerebras 那块餐盘大小的 Wafer-Scale 芯片，Nvidia 花 200 亿美元买回 Groq 的人才和 IP，Anthropic 每月付 SpaceXAI 超过十亿美元租闲置算力。
训练和推理，硬件需求根本不是一回事
训练靠 backpropagation，GPU 天生擅长。推理分两段：
prefill 读完 prompt、算好所有注意力相关的 key/value，并行度高，GPU 是强项。decode 是逐 token 产出，每生成一个新 token 都要把整个模型权重从头读一遍——模型可能是几十到几百 GB 的参数，KV cache 还能膨胀到几十 GB。
Nvidia H100 跑开源 LLM 时，有 50% 到 80% 的时间在等数据。这就是问题的根子。
内存带宽：真正的堵点
d-Matrix 的做法是把计算 die 直接叠在 DRAM 上，数据搬运距离从毫米级压到微米级。Majestic Labs 走另一条路：用专有铜互连和 memory-aggregator，把内存接口从 HBM 那 2-3 毫米的”海岸线”延长到约一米，从而挂载 128TB 廉价 DRAM。
两家都不约而同选了普通 DRAM——HBM 比普通 DRAM 贵两到三倍。
大厂的组合拳：prefill 和 decode 分开打
Nvidia 让 Rubin GPU 干 prefill 的注意力计算，砍掉大块算力的 Groq 3 LPU 靠 500MB 片内 SRAM 专攻 decode。LPU 的内存带宽是 GPU 的 7 倍，256 颗拼成一个机架大小的 Groq 3 LPX。
AWS 的搭配是 Trainium 负责 prefill、Cerebras WSE-3 负责 decode。后者把整片晶圆做成一个芯片，片上刻了 44GB SRAM，能直接装下 40 到 800 亿参数的权重。OpenAI 用它跑 GPT-5.3-Codex-Spark，每秒吐 1000 多个 token，对比基准的 50 到 125 个。
量化格式：4-bit 的路线之争
Nvidia 造了 4-bit 格式 NVFP4，AMD、Intel、Qualcomm 则抱团推 MXFP4。Nvidia 说把 DeepSeek-R1 从 FP8 量化到 NVFP4 之后，七个主流基准的分数下降不到 1%，性能却提升了 3 倍。
这里有个坑：量化格式的收益高度依赖校准数据集和模型结构。换一个领域的模型，同样的量化配置可能掉点明显。上线前务必用你自己的业务数据跑一轮校验，别直接信厂商的基准数字。
更激进的还有 Tensordyne，用对数数制把芯片里的乘法换成加法，声称 1300 token/秒/用户、功耗不到可比 Nvidia 硬件的十分之一。Etched 干脆把 transformer 结构直接烧进硅片，跑 Llama 70B 能到每秒 50 万 token，代价是无法适应偏离标准 transformer 的新结构。
多条路线并行，不是单选题
推理需求看不到尽头。Moor Insights 的 Matt Kimball 说：”你可以在组织里塞进一百万个 agent，它们一天 24 小时干活。”
推理硬件大概率会走 CPU 的老路：不是沿单轴升级，而是多条技术路线并行开花。对运维和测试工程师来说，这意味着选型时不能只看峰值算力，得把内存带宽、量化兼容性、以及你自己业务的实际 token 吞吐量放在一起评估。
校验方法很简单：拿你的真实 prompt 集，分别跑 prefill 密集和 decode 密集两种负载，记录 tokens/s 和首 token 延迟。如果 decode 阶段 GPU 利用率长期低于 30%，说明瓶颈在内存带宽，换更贵的 GPU 解决不了问题。
# 用 vLLM 测 decode 吞吐的典型命令
python -m vllm.entrypoints.openai.api_server \
--model /path/to/model \
--quantization nvfp4 \
--max-model-len 8192
# 压测：观察 tokens/s 和 GPU 利用率
python benchmark_serving.py \
--backend openai \
--model /path/to/model \
--dataset-name sharegpt \
--num-prompts 200
判定标准：decode 阶段 tokens/s 上不去、但 GPU compute 利用率低于 50%，基本可以确认是内存带宽瓶颈。
