世界模型的三条技术路线:李飞飞、LeCun与朱军的解读
一段能连续生成的视频、一个随操作实时变化的数字环境、一个在潜空间预测未来的系统、一个直接输出机器人动作的策略——这些都被叫做世界模型。但它们的能力边界相去甚远,概念混乱增加了技术判断的难度。
2026年,世界模型研究开始回到一个基本问题:模型需要具备哪些能力,才能从生成内容走向理解并改变世界?
三条不同的技术路线
李飞飞和World Labs按功能将世界模型分为三类:渲染器输出像素、模拟器输出世界状态、规划器输出动作。这是一种功能分解的思路。
LeCun主张在抽象潜空间中学习可预测的世界结构,让模型保留对理解、推理和规划有用的信息。这是Meta的路线,强调潜空间的表示学习。
清华大学朱军给出了第三个角度:从第一性原理定义核心能力,提出理解、想象和行动的三项能力框架,并给出五级进化路线图。
三项核心能力形成流程
理解:把视觉、语言、声音等信息整合成对当前世界的内部判断。
想象:从当前状态推演多个可能未来,尤其是「如果我采取动作A,而不是动作B,结果会怎样」。
行动:把预测变成对环境的干预,并让行动后的新观察反过来检验、修正模型。
视频生成不等于世界模型的全部。视频模型可以回答接下来画面可能是什么样,但要走向通用世界模型,它还需要回答「如果我改变这个条件,世界会如何不同?」这类带有行动条件的预测,才触及了因果、反事实和可执行决策。
五级进化路线
L1生成世界:可以生成杯子滑落、撞击、碎裂的连续画面。
L2交互世界:可以在用户改了视角、改变推动方向后继续演化这个世界。
L3在世界中行动:需要判断杯子是否要掉落、预测伸手是否来得及,并输出机器人真正可以执行的抓取动作。
L4自主世界智能体:不再只等人给指令,要能发现风险、主动观察、补充信息,并在失败后修正策略。
L5世界组织者:面对多主体协作,比如谁去抓杯子、谁去避障、谁来调配工具。
现有系统已经触及前三个层级,L4和L5仍是开放问题。
从视频到具身:同一个假设的两次验证
互联网视频规模巨大,记录了广泛的物体、人物、场景和运动,但很少同步记录造成变化的动作、力量和意图。机器人轨迹能够连接观测、动作和结果,采集成本却更高。
朱军团队的路径是把这两类数据放入一座由观察走向行动的数据金字塔:底层是互联网规模的视频,用来获得世界知识和动态先验,向上依次是领域视频、第一视角人类视频、带有动作记录的人类示范,顶层是真实机器人交互数据。
这解释了为什么生数科技会同时推进视频生成与具身智能:视频提供世界知识的广度,机器人数据完成行动接地。
MoT架构:平衡多模态与参数共享
图像、视频、语言和机器人动作需要围绕同一个世界状态协同计算。朱军团队提出的MoT(Mixture-of-Transformers)架构,不同模态保留各自的专家参数,再通过共享注意力机制交换上下文。视觉告诉模型环境中发生了什么,语言提供目标和约束,动作带来对环境的干预,三类信息共同更新模型对世界的判断。
Motus2:让机器人在动手之前先试一遍
Motus2以一套共享参数的视频-动作模型,暴露出三种控制接口:策略提出候选动作、模拟器预测后果、评估器判断哪种结果更接近任务目标。
机器人不再只是看到物体后直接给出一个动作,而是先提出几种候选方案,在模型中预演各自会带来的画面与任务进度,再选择更好的那一步。执行以后,成功、失败和不那么理想的结果会成为下一轮动力学建模与价值学习的证据。
从概率学习到世界智能:一条中国技术路径
从概率建模到生成与决策,这条学术脉络映照出AGI发展的两类入口:一类从语言出发,逐步增强推理、工具调用和任务执行能力;另一类从视觉与动态世界出发,继续走向实时交互和具身行动。
智谱与生数可以视两条路径的代表。智谱从语言模型出发,持续增强推理、Coding和Agent能力;生数则从视频生成出发,进一步进入实时交互、具身行动与策略优化。两条路线正在相互渗透。
结语
世界模型的竞争,最终会从Demo的震撼程度,转向系统经受反馈的能力。画面可以制造可信的第一印象,几何和物理决定这个世界能否被反复使用,行动则把模型的判断带进现实。当模型能够在变化的环境中不断形成判断、承担行动后果并持续学习,世界模型才会从一个拥挤的技术名词,逐渐成为通向通用智能的基础。
ID:519