小米公开 MiMo-V3 核心架构 HySparse2：KV 共享升两级、Prefill 少跑一半5,088
罗福莉预告 MiMo-V3 新架构 HySparse2，旨在实现更少 Prefill 计算、更小 KV Cache 及更精准长文检索三大目标。相比前代方案，该架构将百万 Token 成本下 Prefill 量降至五分之一，并把缓存从 12GB 大幅压缩至 2.7GB 的规模。两级共享机制让后半部分直接复用前半部分状态生成缓存，配合 Token 级稀疏选择优化了注意力计算效率。模型拆分使 Prefill 仅需执行前 25 层网络且权重存储减半，同时局部窗口保留最近一百二十八个 Token 以提升上下文精度。小米结合低比特量化与投机解码技术，最终达成同一规模下推理前端与后端均能保持高速运行的性能表现。
总结由社区平台通过 AI 大模型技术生成
推广| AI 算力1折起，加速 AI 应用实现
小米 MiMo 团队负责人罗福莉（Fuli Luo）在 X 上预告了 MiMo-V3 的新推理架构 HySparse2，随后小米官方公众号也放出了完整介绍。面向长程多轮 Agent，这套方案的三个目标很直接：更少的 Prefill 计算、更小的 KV Cache、更精准的长上下文检索。
和 MiMo-V2.6 的 Hybrid SWA 相比，相对收益的系数是现成的：在百万 token 成本分析里，Prefill 计算量降至 1/5（约 5 倍），KV Cache 从 12GB 压到 2.7GB——按 1M token 上下文算缩小了约 4.5 倍。MRCR-v2、RULER-v2 长文检索基准也有提升，AgentPPL、LongPPL 更低。相对第一代 HySparse，Prefill 计算量降至 1/3，KV Cache 从 6.7GB 降到 2.7GB，后训练后 MRCR-v2 和 RULER-v2 各报告长度平均分分别提高 11.30 和 19.81 个百分点。
省 KV 靠的是两级 KV 共享。模型照 YOCO 的思路拆成前后两半：第一级 KV Bridging 让后半部分（Cross-Decoder）的 Full Attention 层直接从前半部分（Self-Decoder）对应层的输入隐藏状态生成自己的 KV Cache——这些缓存不必等输入逐层流过 Cross-Decoder，在前半段就把 KV 建好了；第二级 KV Reuse 让同一 Hybrid Block 里的稀疏层直接复用 Full Attention 层算好的 KV Cache 和选择索引，不用额外训独立选择器。
配合 token 级稀疏选择（第一代是块级，这会为选中一个重要 token 往往连整块算进去；现在按 token 分配预算），加一个强制保留最近 128 token 的局部窗口，窗口外再选 1,024 个全局 token，两部分合进同一次稀疏注意力计算。
这套拆分顺手把 Prefill 的路径切短了：49 层模型里，Prefill 只需要执行前 25 层 Self-Decoder 和桥接 KV 投影，其中只有一层 Full Attention。Prefill-Decode 分离部署时，Prefill 节点只需部署这部分网络，模型权重存储接近减半。
换句话说，「缓存更小、Prefill 更短」和「长文检索更好」没有互相拆台。连同此前通过低比特量化、投机解码等做快速 Decode 的 MiMo-UltraSpeed，小米是想让模型在同一规模下 Prefill、Decode 两头都快。
Fuli Luo on X: MiMo-V3 gets HySparse2 HySparse2：Xiaomi MiMo-V3 新架构预览arXiv 2609.26368 — HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
ID:4792
