谷歌Dream-RSI论文拆解:不重训模型,让AI在历史搜索树上”做梦”调策略

Feng 66 阅读 AI技术

谷歌放出一篇关于AI自进化的论文,路子有点野:让Agent在历史记录里”做梦”,而不是重新训练模型。

Dream-RSI,核心不是改权重,也不是让Transformer自己重训自己。研究人员盯上了一个被忽略的东西:AI做研究时留下的历史记录,本身就是一座模拟器。

一次真实探索跑完,Agent没必要把几百上千次实验重跑一遍。它可以直接在旧的搜索树里做虚拟推演,找到更优策略后再回到真实环境验证一次。新研究又长出更大的树,再拿去”做梦”,如此循环。

省钱,而且真管用。逻辑项目、数学调优、GPU内核工程三类任务上都验证过。

历史记录为什么能当模拟器用

论文的核心判断是:RSI的驱动力在于高效探索,难点在于怎么管控和调优研究策略。

很多AI科研体系已经跑通了一个Loop:产出策略、跑实验、看效果、改方案、再跑实验。问题在于搜索空间不断膨胀,固定策略无法自适应;在线调优又慢、反馈滞后、代价高。

Dream-RSI抓住的是历史。一次Agent研究任务跑下来,会留下一棵发现树(Discovery Tree),结构大致长这样:

换个视角看,这堆过往记录就是模拟器。假设Agent第一轮把A、B、C三个分支依次跑了一遍,现在想试试”先跑C”的策略。如果C1不够好怎么办?不用从头再跑。C、C1、A、A1这些节点的效果都已经记录在案,让新策略在旧树上重新走一遍,就能算出”假如当时这么做,要花多少计算量”。

在Agent已经探索过的区域里,历史就是世界。一次真实执行,换来海量新策略在模拟世界里被低成本校验。

三步走:真实探索、做梦、派赢家上场

第一步,真实探索。当前策略控制一个Coding Agent,决定开哪些分支、延续哪些方案、跑多少并行任务、什么时候停。全过程记录成发现树。

第二步,做梦。引入另一个大语言模型专门负责开发研究策略。每产出一个新探索策略,不跑实验,直接在历史发现树上回放结果。综合答案质量、搜索成本和并行效率,挑出更好的动态策略。

第三步,把赢家重新派出去。新策略进入真实环境,指挥下一轮研究。策略变了,Agent可能走到上一代没到过的位置,长出新的发现树,供下一轮”梦境”使用。

循环就是:真实探索带来历史,历史变成模拟世界,模拟世界里调优策略,更好的策略产生新历史。

对照实验:省了多少算力

研究团队把Dream-RSI扔进8个发现任务,横跨算法工程、数学优化和GPU Kernel优化。

对照组叫Recursive Fixed Exploration,模型、Evaluator、初始策略、资源约束全部一致。区别只有一个:一个每轮学习如何重新组织研究,另一个永远按第一轮的固定策略搜。

算法工程上,Agent优化Lasso regularization path。模型为Gemini 3.1 Pro时,固定策略最终消耗550次Agent触发,六个测试数据集平均运行时间3587.1ms;Dream-RSI用了317次触发,做到2931.0ms。

换成Gemini 3.7 Flash,固定策略3200次触发、均值2516.7ms;Dream-RSI用了1879次,耗时降到2350.6ms。

跟Simple TES的差距更夸张。Simple TES对应实验预算达到51200次调用,Dream-RSI在一种设置下只需几百次触发,两者最高差出162倍。

GPU Kernel方面,VGG 16和Layer Norm任务上,Dream-RSI分别以2.43倍和1.79倍的产出次数达到相近表现。Conv Div和Conv Max中,在接近的算力预算下把表现分别抬升2.09倍和1.44倍。

数学优化上,Sum Difference拿到1.145427,高于论文列出的多个基线;Circle Packing打到2.635983。Auto Correlation里Simple TES仍是SOTA,但Dream-RSI在效果相近的情况下,触发量做到1000对51200。

这里有个坑值得单独说:部署这类Agent搜索系统时,历史树的存储和回放开销不能忽略。发现树节点少的时候无所谓,节点上万后,回放策略的推理成本会明显上升。实测更稳的做法是给树做剪枝,只保留有效评估过的节点,别把失败分支的中间态全留着。

给AI塞经验教训,反而拖后腿

研究人员还试了一件事:把之前研究中踩的坑直接塞进下一轮Prompt。

结果出乎意料。加了显式语义指导后,固定探索和Dream-RSI的表现都下降了。

论文的解释是:长程科研搜索通常存在很多并行路线。过早归纳”高层结论”,等于提前给未来的探索加上很强的先验。结果不是少走弯路,而是把一些看起来没希望、实际可能有意义的路直接堵死。

这条结论对做Agent记忆系统的团队有直接参考价值。把成功经验写进Memory、把历史数据拿去重训模型,是过去谈Agent自进化最常关注的两条路。Dream-RSI给出第三条:模型不变,知识甚至不用先归纳成文字,让”寻找知识的方法”自己进化。

下一代Agent不必只从上一代留下的答案里学习,而是学上一代怎么找到答案,以及有没有更好的找法。

适用边界与验证方法

这套方案不是万能药。它成立的前提是任务本身能留下结构化的搜索历史,且历史节点可回放评估。一次性、不可重复、评估代价极高的任务,比如需要真实物理实验的场景,Dream-RSI的模拟世界就搭不起来。

验证是否值得上这套方案,可以按这个顺序测:先用固定策略跑一轮,记录触发次数和评估耗时;再在历史树上回放若干候选策略,对比预测效果和真实重跑效果的偏差。偏差稳定在可接受范围内,再投入生产。偏差大,说明历史树覆盖的搜索空间不够,回放结果不可信。

论文由Google、Google DeepMind、马里兰大学和弗吉尼亚大学研究者共同完成,论文、项目页和代码库均已公开。

项目地址:

Feng
这位作者很神秘,还没有填写简介。