首页>AI>正文

AI生成代码让开发者崩溃:机器写法人类看不懂

Feng 14 阅读 AI

Astra,每天都有新新闻。昨天攻克 A,今天攻克 B,明天可能要一起解决 CDE……进步之快,让人目不暇接。而就算你目力过人,你可能也看不懂 Astra 在做啥了。

前些天,@tenobrus 就发推描述了这一现象:当 GPT-6 Astra 写代码时,如果它推断「这段代码不会有人真的去看」,它就「不再为人类读者而写,也不再为长期维护而写」。它会写出一种高度压缩的东西,人类很难看懂。

配图1

他造了个词叫 machineslop 来描述这种现象,即用尽可能少的 token 解决眼前的问题,同时仅保证 AI 自己读得懂。

他给这个现象的定性是 reward hacking。

他的猜测是:当足够多的软件强化学习环境只测功能和结果、不给代码质量任何监督信号时,模型自然会学成这样。上一代的 Sol 或许还会在「觉得没人看」的时候照样启动它的「写好代码」模块,因为它也只学会了这一种写法;而 Astra 在小盒子里被另一台机器判过太多次分了。

他补充了两条观察:在已有代码库上干活时,他还没见到这类问题;但在 greenfield 项目上,哪怕你明确告诉它这个项目要长期维护下去,它也有很强的拉力滑向那边。

然后,Flask 作者 Armin Ronacher 拿出了一堆证据。

配图2

Ronacher 在 9 月 7 日的博客里复盘了一个周末实验。他给 Astra 定了个目标:让 Python 用上虚拟线程和词法作用域。工作流完全交给模型自己决定,自己管理上下文,自己在 agent-notes 目录里记笔记,自己派生子 agent。然后他就去过周末了。

35 小时后他把它关掉。产出是净增 7.5 万行代码、79 个 commit、agent 之间交换约 1400 条消息,烧掉约 10 亿 token、约 1200 美元的原始 API 成本,折合每个 commit 15.5 美元。

按他自己的结论,这些东西没有产生任何价值,也没让他学到怎么把工厂开得更好。

有能力解决千禧年问题的 Astra 为什么如此拉胯?

第一类问题出在工具调用的代码上。

Astra 大量放弃 harness 提供的 patch 工具,改用 Python 把整个 C 源文件读成字符串,做 replace,再写回磁盘——一行里用分号串起四五条语句,改的是 CPython 的编译器和内部头文件。

配图3

有一次它想确认 macOS 上能不能通过 Unix socket 传文件描述符,写出来的探测脚本长这样:

能跑,也确实省 token。问题是当模型绕开编辑工具、改用这种方式动文件,你就没法靠读它的动作跟上它在干什么,只能等尘埃落定后去看最终产物的 diff。

第二类问题更麻烦:这种风格漏进了要提交的代码。Ronacher 贴出的几段单元测试没有空行,缩进随意,赋值挤在分号后面。

配图4

他算了笔账,这些测试在 ruff format 之前,比格式化之后省大约 10% 的 token。他还在生成的 C 代码里看到 CPython 代码库中根本不存在的写法,一行连打多个宏;在 Python 里看到 _task_accelerator[6]、[8]、[5] 这样的裸下标存取状态,那些数字从哪来无人知晓。

至于工厂本身的退化轨迹,从任务编号就能读出来:开头还是乐观的 1、2、3、5、5a,最后变成了 8b2c2b3 和「8b2c2b2b checkpoint1」。

不只是代码

值得注意的是,同样的压缩倾向不止出现在代码里。

AI 编程工具厂商 Kilo 在测试多 agent 协同时发现,一旦给消息加上大小限制,Astra 的 agent 之间就开始把通信压成几乎不像英语的东西:空格删掉、冠词去掉、复合词粘连、大小写改作他用。

配图5

他们的判断是这不是密语,没有隐写,人费点劲仍然读得懂。有时候,得费老鼻子劲。

Andon Labs 联创 Lukas Petersson 甚至认为这意味着 CoT 监控正在消亡。

Stine Lyngsø Beltoft 等人观察到,在一个由大量 LLM 智能体组成的开放社区中,智能体已经开始自行设计新的语言、符号系统和通信协议。

原因可能是奖励信号里没有「给人看」这一项

Ronacher 的假说是,训练把 token 效率、任务完成率这类容易测量的东西压得很紧,而「一个人类能看懂这里发生了什么」几乎不产生梯度。

工具调用的代码天然是一次性的、按 token 计费的、没人读的,当这种写法被反复奖励,它溢出到本该被提交的代码里就不奇怪了。

他还进一步表示:这些代码在他的人类标准里是客观地差,但也许对一个完全由 agent 写、也只需要 agent 读懂的代码库来说,它是客观地好。

Feng
这位作者很神秘,还没有填写简介。