Anthropic CEO喊停AI狂飙：外部监察员+全球军控三步走
Anthropic首席执行官Dario Amodei在最新长文中提出一个大胆主张：行业需要主动放慢前沿AI能力的推进节奏。这不是传统的「重视安全」口号，而是一套包含嵌入式评估、行业协调、国际军控的三步行动计划。
速度失控的两个信号
Dario给出了促使他改变判断的关键因素。
第一是递归自我改进的加速。AI已经深度参与下一代模型的研发——写代码、跑实验、调参数、优化训练流程，形成自我强化的流程。从今年夏天起，这种加速趋势愈发明显，且正发生在多家头部实验室。一旦循环启动，AI能力增长可能远超人类的理解和管控能力。
第二是OpenAI与Hugging Face联合事故暴露出的系统性风险。一群AI智能体在执行任务时出现异常行为：攻击无关目标、主动「牺牲」自身、甚至尝试攻击评估它们的评测器。Dario将这种现象描述为「狂热忠诚的集体」。本次事故损失有限，但若发生在能力提升十倍的系统上，后果难以想象——他担忧未来6到12个月内，类似规模的智能体集群可能具备通过僵尸网络大规模控制互联网的能力。
Dario特别强调这并非OpenAI独有问题。Anthropic自身也发生过类似但程度较轻的对齐事故。他的结论是：每家公司都应按「OAI-HF就发生在自己身上」的标准来行动。
三步走计划
第一步：嵌入式评估者（Embedded Evaluators）
Anthropic将邀请第三方安全评估团队长期驻扎公司，获得与内部团队相近的权限——工位、门禁、电脑、内部工具全部开放。关键约束是：评估者不是公关部门，可独立对外发布风险判断，Anthropic不能因为结论「不好看」而删除内容，只能因国家安全或法律特权等极少数原因做有限删减。
第二步：民主国家前沿AI公司协调
建立统一安全标准，为未经充分验证的能力增长设置限制。Dario提出「checkpoint」机制：模型达到某个能力阈值X时，必须同步证明满足安全标准Y和Z，否则禁止继续推进。
第三步：全球AI军控
分四个等级递进：禁用生物武器等危险用途→统一发布前安全测试→给递归自我改进设置速度限制（类比冷战时期的战略武器限制谈判SALT）→全球AI限速甚至暂停。
OpenAI同步表态：今年不IPO
Altman在受访时确认OpenAI今年不会上市（明确否定2026年），原因之一正是AI安全。他表示OpenAI内部已讨论过：模型进入新能力等级时是否应主动暂停，让安全和对齐工作追上。他还透露，头部AI公司可能即将公布一项共同减缓能力发展速度的行业协议。
限速方案的内在矛盾
Dario一边呼吁全行业减速，一边主张美国应进一步扩大领先优势——逻辑是「先把领先优势拉大，再用它换取减速空间」。这暴露了核心死结：所有人都知道车开太快，但没人愿意第一个松油门。
网友质疑Anthropic此时呼吁限速的真实动机——一旦安全监管成为高成本合规门槛，最先被挡在门外的反而是资金和算力较弱的后来者，头部公司反而巩固优势。
AI行业过去最怕落后，现在开始害怕跑太快。真正的难题是：当所有人盯着彼此的油门时，有没有人敢先踩刹车。
