首页>AI>正文

微软Decision-1决策评分模型后训练链路与成本拆解

Feng 54 阅读 AI

微软在 Microsoft Foundry 上线了 Microsoft-Decision-1

微软Decision-1决策评分模型后训练底层与成本拆解

,OpenRouter 随后跟进。它不生成文本,只做一件事:给定一组候选答案,输出每个选项的校准概率,直接喂给上层软件消费。定位和同期拿到 75 亿美元估值的 JEV 撞在一起,两家赌的是同一个方向。

底层是 Qwen3.5-9B,微软自己承认的,后训练得到快速单程决策评分能力

微软Decision-1决策评分模型后训练底层与成本拆解

。后续会 rebase 到自家 MAI 以及 OpenAI 的模型上。参数不大,路子窄,这正是决策模型和通用 LLM 的分水岭:LLM 什么都要会,决策模型只干分类和决断,所以又快又省。

官方数字给得很猛。36 个基准、近 15 万道题,全部对训练保持盲测

微软Decision-1决策评分模型后训练底层与成本拆解

。最高准确率的同时也是测得最快的:比第二名 Quyet-1.0-Large 快 4.5 倍,比 GPT-6 Sol 快 35 倍。鲁棒性上,同一请求做 8 种扰动,平均只有 1.3% 的情况决策翻转;描述换说法、选项乱序这两类扰动下翻转率为 0。安全测试覆盖 5,250 个请求、11 个基准。

内部用例暴露的真实收益

XBOX Research 拿它处理一万多条开放式用户反馈,按研究者预设主题归类,质量追平 GPT-6 Sol,速度快 14 倍,成本低 200 倍。Copilot 团队用它做聊天和 agentic 响应的质检,报告比 GPT5.6 Luna 快 100 倍。微软 Discovery 的科研自适应重规划场景里,打分一致性比 LLM 高 46 倍,速度快 3 倍。

价格把商业逻辑摊开了:输入 token 每百万 0.042 美元,输出免费。Agent 在真实环境里每做一个动作前加一次模型判断,就是一笔开销。决策模型赌的是这一跳的成本能被压到接近忽略,让路由、分类、质检、流程控制这些 agent 时代最频繁的动作变得便宜。

实现部署:logprobs 报错怎么解

这类打分模型对外暴露的核心接口是 logprobs。用 vLLM 起服务时,常见报错是 ValueError: Requested sample logprobs exceeds the maximum allowed 或返回的 top_logprobs 数量对不上选项数。根因不在模型,在采样参数:vLLM 默认 --max-logprobs 上限为 20,而选项多、需要看全分布时会被截断,导致概率归一化出错。

解法是启动时显式抬高上限,并让客户端请求的 top_logprobs 不超过该值:

vllm serve <model-path> \
 --max-logprobs 128 \
 --dtype bfloat16 \
 --gpu-memory-utilization 0.9

客户端侧请求体里带上 "logprobs": true, "top_logprobs": 128,再对候选选项 token 的 logprob 做 softmax 归一化。校验方法:构造一道已知答案的二选一题,跑 100 次,看正确选项的归一化概率是否稳定高于 0.5,且同一输入多次调用方差接近 0。若概率分布随选项顺序变化,说明归一化漏了未出现在 top_logprobs 里的 token,需要继续抬高上限或改用全词表 logprob。

什么场景别用它

决策评分模型不是万金油。选项语义高度重叠时,比如“退款”和“退货”这类近义标签,校准概率会摊平,模型给不出有区分度的分数,此时要么合并标签,要么退回 LLM 加规则。长尾标签同样危险:训练分布里没见过的类别,模型会给出一个看似合理但完全错误的概率,而且因为输出是数字,比文本更容易被误信。

分布漂移是另一个坑。线上请求的选项集合随时间变化,如果新增选项没进过后训练数据,翻转率会明显上升。原文那 1.3% 的翻转率是在固定扰动集上测的,不代表开放域表现。生产环境建议加一层监控:统计每个选项的预测概率分布,一旦某个类别的平均置信度连续下滑,就该触发重训或回退到 LLM 打分。

拆开卖之后

决策模型正在从 LLM 里分出来,成为独立领域。JEV 拿了市场的钱,微软用 Foundry 兜底,OpenRouter 负责分发。下一步的看点是:当厂商把不做决定的语言模型和只做决定的评分模型拆开卖,agent 的成本结构会被重算一轮。路由、分类、质检这些高频动作的单价被压到接近零之后,agent 的设计约束会从省 token 转向多判断——每个动作前都加一次决策评分,反而成了默认操作。

ID:6509

Feng
这位作者很神秘,还没有填写简介。