单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达

转自AI科技评论,仅用于学术分享,如有侵权留言删除

作者丨马晓宁 张驰
编辑丨岑 峰
一个17岁的年轻人,只需要几个小时的练习,就可能学会开车。而自动驾驶系统已经使用了数百万小时的训练数据,至今仍未实现L5级自动驾驶。
为什么人类能够如此迅速地掌握一项新技能,机器却需要海量数据反复训练?
在CoRL 2026的一场专题演讲中,图灵奖得主、纽约大学教授杨立昆(Yann LeCun)用这个例子重新讨论了智能的本质。
在他看来,智能不是知识和技能的积累,而是面对未知情况时,能够以多快的速度找到解决办法。 人类之所以能够迅速适应新任务,是因为我们从婴儿时期就通过观察和互动,逐渐掌握了物体、空间、运动以及物理世界的基本规律。而今天的AI系统,仍然缺乏这种对世界的基础理解。
这也是他认为当前AI研究需要改变方向的原因。
在题为《World Models: Enabling the Next AI Revolution》的演讲中,杨立昆系统阐述了他对下一代AI架构的设想:机器不应该只是根据输入生成答案或动作,而应该能够预测行动的后果,通过搜索和优化作出决策。
实现这一目标的关键是世界模型。但他所说的世界模型,并不是能够生成逼真视频的模型,也不是试图还原所有物理细节的模拟器。它需要学习的是那些真正可以预测、能够帮助机器采取行动的抽象规律。
从JEPA到V-JEPA 2.1,再到用于分层规划的H-JEPA,杨立昆展示了这条技术路线的最新探索。演讲最后,他还给出了四项明确的研究方向转变,并再次强调:要实现人类水平的AI,不能把希望只寄托在LLM上。
这场演讲于2026年11月12日在CoRL Workshop“Bringing Physics Simulation and World Models Together for Robotic Manipulation”上举行,杨立昆通过视频连线参与。
以下为根据演讲录音转写和现场PPT核校整理的中文演讲全文。

01
首先,什么才是真正的智能?
我现在在纽约,外面正下着大雨。
今天我要谈的是世界模型。我想,接下来有些内容大家可能已经听过,只有最后一部分可能会比较新,涉及一篇与CoRL相关的论文。
我真的相信,世界模型给了我们重新设计AI系统的机会,并可能带来下一轮AI革命。
有些人把这个方向称为Physical AI。CoRL关注的正是如何让AI系统处理现实世界的问题。
但现实世界非常复杂。机器人领域的研究者很早就知道这一点。目前我们使用的机器学习技术,与人类和动物表现出的智能相比,仍然有很大差距。真正值得研究的问题,是如何缩小这种差距。
首先,我们需要重新思考:什么是智能?
自从大语言模型出现以来,人们很容易产生一种印象,认为智能就是陈述性知识的积累。但事实并非如此。
智能是面对没有接受过训练的新问题时,能够找到新的解决办法。我非常喜欢发展心理学家让·皮亚杰(Jean Piaget)的一句话:
“智能不是你知道什么,而是当你不知道时,你会做什么。”

我们不能用一个系统接受过多少任务训练来衡量智能。更重要的是,系统能否利用很少的训练经验,在遇到新任务时迅速找到解决办法。
想想一个17岁的年轻人。他可能只需要几个小时就能学会驾驶汽车。现在我们已经拥有数百万小时的自动驾驶训练数据,却仍然没有实现L5级自动驾驶。
因此,真正应该衡量的,是机器学习新任务的速度,以及它不经过额外训练就能完成新任务的能力。固定任务上的表现,并不是衡量智能的最好方法。因为你总可以针对某个测试进行专门训练。
我们真正希望看到的是,机器面对新情况时的适应能力。
▎婴儿如何学习世界
人类在生命最初几个月里,主要通过观察学习世界,也会进行少量互动。从某种意义上说,这就是一种自监督学习。
婴儿在观察世界的过程中,逐渐形成一些基本概念。例如,物体恒常性:物体即使暂时离开视野,也仍然存在。
婴儿还会逐渐理解事件与物体的区别,认识到物体存在不同的自然类别。比如桌子和椅子,即使不知道它们的名称,也能够区分。
随后,他们开始掌握直觉物理学中的一些基本规律。大约在出生后九个月左右,婴儿逐渐形成关于物体运动、重力等现象的直觉认识。

我认为,这种对世界的学习,才是我们应该尝试在AI系统中重现的能力。
当一个智能体面对新任务时,如果它已经知道现实世界的大部分基本运行规律,那么它完成新任务所需要的训练就会少得多。
一个17岁的年轻人能够在几个小时内学会开车,并不是因为他只学习了几个小时。而是因为,在此前17年的生活中,他已经积累了大量关于世界如何运行的知识。
这也告诉我们,机器人研究的目标不应该只是继续增加训练数据,让机器学习越来越多的具体任务。
我们应该研究:机器人能够通过什么样的任务无关训练,掌握那些可以迁移到不同任务中的能力?这样,当新的任务出现时,它就可能直接完成任务,或者通过少量示范和练习迅速学会。
我们必须接受专业化和适应能力的重要性。从这个角度看,我认为Artificial General Intelligence,也就是AGI,这个说法本身就没有太大意义。
即使是人类智能,也不是完全通用的。人类智能实际上具有很强的专业化特点。

当然,我毫不怀疑机器最终会在智能能力上超过人类。但把这种能力称为“通用智能”,在我看来并不准确。
02
让机器预测行动后果,
而不是直接输出动作
接下来,我们应该考虑一个智能系统需要具备什么样的基本能力。
首先是推理方式。
认知科学中有两个概念:System 1和System 2。System 1指的是不需要有意识思考就能完成的行动。
在机器人领域,这相当于反应式策略。例如,当你想从椅子上站起来时,并不需要仔细思考每块肌肉应该如何运动。你已经非常熟悉这个动作,可以直接完成。
但System 2不同。它是当我们面对一个复杂任务时,需要思考应该采取什么行动,以及这些行动应该按照什么顺序执行。
这不是通过一次前馈传播直接生成动作,而是通过搜索和优化,寻找能够满足目标的行动。

我们可以想象这样一种推理架构:
首先,感知系统根据传感器输入,形成对当前世界状态的表示。然后,系统提出一个假设中的行动,并通过目标函数判断这个行动是否能够完成任务。
目标函数可以产生一个数值。如果这个行动能够完成任务,目标函数可以输出0;如果不能完成任务,就会产生一个更大的值。
接下来,系统通过优化这个目标函数,寻找最合适的行动。
这里需要特别强调的是,我讨论的是推理阶段发生的优化,而不是训练阶段的优化。系统是在真正决定采取什么行动时,进行搜索和优化的。一旦找到最优行动,就可以将其发送到环境中执行。
▎世界模型如何参与决策
世界模型在这里发挥着非常重要的作用。
系统需要一个世界模型。给定当前世界状态,以及一个假设采取的行动,世界模型就应该预测行动完成之后,世界将处于什么状态。
例如,当前状态是s(t),我们想象采取一个行动a(t),世界模型预测下一时刻的状态s(t+1)。
世界模型的作用不是重建整个世界,也不是生成像素,而是预测行动之后世界会发生什么变化。
然后,我们把预测结果送入目标函数,判断这个行动是否能够完成任务。系统再通过优化,找到根据世界模型预测最有可能实现目标的行动。
从计算能力的角度看,我认为,通过优化进行推理,比单纯依靠前馈传播更有潜力。
因此,我不认为一个仅仅接收当前状态、然后直接输出动作的策略,是建立真正智能系统的正确方式。
系统应该在内部进行规划。它需要能够想象不同的行动,预测行动结果,并在执行之前判断哪一种行动更合适。这种系统才有机会完成过去没有接受过专门训练的新任务。

▎多步规划、安全约束与分层世界模型
这种架构与经典最优控制中的模型预测控制(MPC)非常相似。
如果世界模型能够预测一个行动的后果,那么我们就可以反复应用这个模型,预测一连串行动的结果。
也就是说,系统可以想象未来多个时间步的状态变化。然后,根据最终预测结果判断任务是否完成。
除了任务目标,我们还可以设置其他目标函数。有些是惩罚函数,有些是约束条件。这些约束可以用于保障系统安全。
例如,我们不希望机器人采取可能伤害人的行动。因此,系统应该具有能够识别并排除这些行动的安全目标。
我把它们称为Guardrail Objectives。
这些目标可能需要通过学习获得,而不应该完全依靠硬编码。原因在于,世界模型输出的是抽象状态。安全目标也需要能够理解这些抽象状态。
在世界模型之上,我们需要两类目标。一类是Guardrail Objectives,即安全约束目标。另一类是Task Objective,即具体的任务目标。安全目标是通用的,而任务目标是针对具体任务的。
这样,一个系统就可以在安全约束范围内,持续优化具体任务。
如果世界模型足够准确,系统甚至可以提前预测危险后果,从而避免采取那些可能造成不良影响的行动。
我把这种架构称为Objective-Driven AI Architecture,即目标驱动的AI架构。在我看来,这是构建安全智能体系统的基本蓝图。我很难想象,我们能够在一个系统不具备预测行动后果、判断后果好坏的能力时,就让它安全地自主行动。
世界模型是必要的。这个研究方向已经存在很多年,但现在变得越来越紧迫。

还有一个问题:世界模型应该是分层的。
我们需要不同层级的模型,在不同抽象程度和不同时间尺度上进行预测。
例如,如果机器人要伸手拿东西,它需要控制身体和手臂的具体位置。这些动作需要非常迅速地修正,可能每秒调整20次或50次。
但如果要执行一个复杂的长期任务,就不需要在高层规划中考虑每一个关节的位置、每一个力矩的大小。
假设一台机器人需要从城市的一个地方移动到另一个地方。高层规划应该关注路线、阶段性目标以及行动顺序,而不需要直接计算全部底层运动细节。
因此,世界模型应该能够在多个层级上工作。
低层模型负责较短时间范围的预测,保留较多细节。高层模型则进行更长时间范围的预测,使用更加抽象的状态表示。每一个更高层级都可以为下一低层提供子目标,由低层进一步细化并完成。
我们需要这种分层规划,但在机器人和其他AI系统中,这些还没有得到充分解决。

03
世界模型为什么不应该生成未来视频?
那么,应该如何设计世界模型?
很多研究团队采用的自然方法,是生成式架构。直到大约五年前,我自己也主要在研究这种方法。
生成式架构的基本思路,是根据过去的输入,预测未来的视频或者其他传感器信号。
这其实是一个很古老的想法,可以追溯到预测编码。
在过去20年中的大部分时间里,我一直在研究如何让系统预测未来视频的内容。但在大约五年前,我逐渐意识到,这可能不是正确的方向。
因为,现实世界中的大部分信息,尤其是视频中的许多信息,根本无法预测。如果你训练一个系统,在像素层面预测未来视频,就会遇到非常大的困难。
举个例子。现在,会场中的摄像机正对着观众席。我能够看到画面中的一部分观众。
如果摄像机突然转向另一侧,展示此前没有出现在画面中的人,我怎么可能提前预测他们每个人的样貌?
这根本不可能。
因为我没有得到那些信息。如果要求一个模型预测这些内容,它只能凭空编造。
视频生成模型可以采用很多技巧,让生成结果看起来合理,但这并不能改变问题的本质。
生成一个看起来合理的未来画面,不等于真正预测了世界的未来状态。因此,我们不应该把视频生成直接等同于世界建模。

▎JEPA:在抽象表征空间预测未来
我的解决方案是JEPA,Joint Embedding Predictive Architecture,即联合嵌入预测架构。
生成式模型与JEPA之间最重要的区别,是预测发生在哪个空间中。

假设我们观察到一个输入X,希望预测另一个输入Y。在生成式模型中,系统直接预测Y。而在JEPA中,我们不直接预测Y,而是预测Y经过编码之后得到的抽象表征。
也就是说,模型首先通过编码器获得输入的表征,然后在这个表征空间中进行预测。
这类架构并不是最近才出现的。人们从20世纪80年代末就开始研究类似的思想,我在1993年也发表过与相关网络训练方法有关的研究。
但是,这种架构面临一个重要问题:如何训练它,使其不会发生表征坍塌?
例如,我们可以对输入进行遮挡、裁剪或者其他变换。
假设有一段视频,我们把后半部分遮挡,让系统根据前半部分预测后半部分的表征。模型可能找到一种非常简单的办法:完全忽略输入,始终输出同样的表征。
这样,预测误差就会很小。但显然,这不是我们想要的结果。
我们希望模型学习到真实世界的抽象表示,而不是通过忽略输入来完成预测任务。
因此,如何防止表征坍塌,是JEPA训练中的核心问题。

我越来越不看好直接用生成式模型来学习世界,还有一个非常重要的原因。生成式模型往往需要重建数据中的大量细节。但这些细节未必是预测真正需要的信息。
我用一个简单的例子说明:
假设有一个装满空气的密闭容器,我告诉你,现在要将容器中的温度提高10摄氏度。你能不能预测容器内部的压力会如何变化?
当然可以。因为我们知道理想气体定律,PV=nRT。在体积等条件保持不变时,压力与温度之间存在明确的关系。
但如果我们试图从更低的层级模拟这个过程,就会遇到困难,因为容器里有大量分子。这些分子不断相互碰撞,也不断与容器壁发生碰撞。这些微观过程共同决定了宏观的压力和温度。
可是,我们不可能精确模拟每一个分子的运动,以及它们与其他物体发生的全部相互作用。
这就是为什么我们需要抽象表示。
好的模型应该保留那些能够预测的信息,舍弃无法预测的细节。
在科学研究中,我们一直都在这样做。
化学现象原则上可以从原子物理学出发进行解释,但在实践中,化学家不需要每次都从最基础的物理规律开始计算。因为分子之间的相互作用过于复杂。科学研究需要找到合适的抽象层级。
我们需要能够预测系统行为的表示,而不需要还原所有底层细节。

▎世界模型不是模拟器,也不是数字孪生
这也是我反对把世界模型理解成完整世界模拟器的原因。
世界模型不应该是世界模拟器,不应该是数字孪生,也不应该只是生成式模型或视频生成系统。世界模型应该是在抽象表征空间中,根据行动预测结果的模型。

最好它还是可微分的。
假设我需要从纽约去巴黎,我不需要知道自己身体中每一个关节、每一块肌肉的具体状态,我需要知道的是,要前往机场,乘坐飞机,最终到达目的地。这种抽象表示足以支持长时间范围的规划。
我们不需要保留环境和自身状态中的所有细节。原则上,这种思路也可以用于各种复杂系统。一台大型航空发动机、一座化工厂、一株植物,甚至人体细胞。都是如此。
对于机器人来说,建立机器人本体的模型相对容易。我们知道机器人的动力学方程,可以用它们来描述机器人的运动。
但是,建立环境模型要困难得多。
更困难的是预测机器人与环境之间的相互作用。
我认为,这才是机器人世界模型研究真正的挑战。

当然,利用模型进行控制并不是什么新想法。它可以追溯到20世纪五六十年代的最优控制研究。今天的区别在于,我们希望拥有通过学习得到的世界模型,并利用这些模型完成规划。
04
从JEPA到H-JEPA:
让世界模型用于真实规划
现在我们来看,应该如何训练JEPA。
防止表征坍塌的一个主要方法,是让系统从输入中提取尽可能多的信息。
训练包含两个目标。第一个目标是最大化表征中的信息量。第二个目标是最小化预测误差。
这两个目标之间的平衡,会促使系统保留那些能够预测的信息,同时舍弃无法预测的部分。
例如,如果我们正在训练一个自动驾驶系统,输入是前视摄像机拍摄的视频。我们可能希望模型预测行人会怎样移动,前面的汽车会如何行驶。
但道路旁边树叶的随机摆动呢?
那些运动可能非常复杂,而且具有混沌性质,根本无法准确预测。
如果无法预测,就很难利用这些信息进行控制。
因此,我们可以让模型忽略这些无法预测的细节。
这并不意味着它们一定不重要,而是模型无法从中获得可靠的预测信息。
JEPA要找到的,就是信息量和可预测性之间的平衡。

如果要在视频序列上进行这种训练,可以先通过编码器得到连续的表征,再使用因果预测器预测后续表征。预测过程可以自回归地进行。
从架构上看,它与GPT有一些相似之处。
区别在于,GPT主要处理离散Token,而这里的预测器处理连续表征。这些表征由编码器生成,编码器与预测器可以共同训练。

这里还有一个困难:我们应该如何衡量信息量?
不幸的是,我们还不知道如何计算信息量的有效下界。而如果希望最大化信息量,我们就需要知道。

现在很多方法只能提供信息量的上界估计。任何信息量计算方法都需要对变量之间的依赖关系作出一定假设。如果忽略部分变量之间的依赖关系,就可能高估实际的信息量。
假设我们将一批样本输入编码器,得到一个矩阵。矩阵中的每一行对应一个样本,每一列对应表征中的一个变量。
怎样才能让这个矩阵包含足够丰富的信息?
这里有两种方法:一种方法Sample Contrastive Methods,是让不同样本之间的表征彼此区分。另一种方法Dimension Contrastive Methods。,是让表征中的不同维度彼此区分。

第一种方法需要让不同样本的表征保持差异,可能涉及大量样本之间的比较,因此需要较大的Batch。第二种方法则希望不同变量之间尽量减少冗余。
在这方面,研究者提出了多种方法。
例如VICReg相关的方差与去相关约束、Barlow Twins,以及一些聚类方法。
其中一种做法,是先把表征映射到更高维空间,再对不同维度施加约束。
我们希望不同维度具有足够的方差,而不是全部变成常数。同时,还希望它们之间尽可能不相关。
聚类方法采用另一种思路。
它可以通过线性变换和Softmax,让样本趋近于某些类别中心,同时通过分布约束避免所有样本落入同一类别。

接下来,我想重点介绍SIGReg。
SIGReg的全称是Sketched Isotropic Gaussian Regularization。
这是一个很有意思的想法。
它还不是解决信息最大化问题的最终方案,但它值得研究。
SIGReg的基本思路是,考虑一批样本在表征空间中形成的经验分布。我们希望通过约束这个分布,提高表征中的信息量。具体来说,可以将样本表征沿着许多不同方向投影,得到多个一维分布。
然后,设法让这些投影得到的边缘分布尽可能接近高斯分布。

一种实现方法是利用特征函数,也就是与傅里叶变换相关的方法。还可以利用累积分布函数,将经验分布与目标高斯分布进行比较。
这些方法可以计算梯度,并据此调整样本表征。SIGReg通过这种方式,对表征分布施加约束。
这个方法在一些简单世界模型任务中已经表现得不错,也能够用于规划。但它仍然需要进一步扩展到更复杂的任务和数据。

但是,真实世界中的潜在变量未必服从高斯分布。
因此,SIGReg并不是能够适用于所有情况的完整解决方案。
▎自监督学习能够让模型掌握哪些世界知识?
我们已经看到,JEPA可以通过多种方式学习表征。在图像理解方面,它能够通过不同视角之间的关系,学习稳定的视觉表征。
也有一些工作将这类方法应用于医学影像等真实任务。


在机器人领域,我们需要动作条件化的世界模型。
这样的模型接收当前状态和行动,预测行动完成后环境状态的抽象表示。它本质上是一个关于环境的因果模型。
一旦拥有这样的模型,就可以通过预测未来状态来规划行动,而不必在像素空间中生成完整的未来视频。

我们已经看到了一些利用视觉表征构建世界模型的研究。例如DINO-WM。
这项工作基于DINOv2视觉编码器,增加用于预测的世界模型,使系统能够根据初始状态和目标状态进行规划。
还有基于DINOv3的DINO-World。
这些工作展示了一个方向:利用视觉模型学习到的表征,在抽象空间中进行状态预测和行动规划。

接下来,我想谈谈V-JEPA 2.1。
这是一个面向视频理解和规划的自监督学习系统。
它训练视频编码器和预测器,使模型能够在表征空间中预测视频中缺失或者未来的部分。
它能够用于规划,更重要的是,它通过完全自监督的方式,学到了很多关于世界的基础知识。而这些知识原本可能被认为需要通过监督学习才能获得。

例如深度信息。
我们可以取出V-JEPA 2.1生成的表征,再训练一个监督式预测头,让它预测深度。
结果表明,尽管预训练时没有给模型提供深度标签,它学习到的表征仍然包含了深度相关信息。
为什么会出现这种现象?因为当摄像机移动时,画面中物体的位置和遮挡关系会发生变化。如果模型要理解这些变化,就需要掌握一定的三维空间结构。
因此,模型能够通过自监督视频学习,形成对深度、物体前后关系等空间信息的表示。

这非常有意思。
我们原本认为需要明确监督才能学到的知识,可能会在模型试图预测视频变化时自然出现。
▎H-JEPA:分层世界模型如何实现长期规划?
最后,我想介绍一个更有意思的方向:层级JEPA,也就是H-JEPA。
它展示了一种具有多个预测层级的世界模型。
高层模型能够预测更长时间范围的变化,低层模型则负责较短时间范围的变化。
例如,在AntMaze任务中,系统需要控制一个模拟蚂蚁机器人完成导航。如果只使用底层模型进行长时间规划,就需要直接搜索大量复杂的动作序列。
但有了层级模型,情况就不同了。高层模型可以规划较大的行动方向,为低层提供子目标。
低层模型再根据这些子目标,规划更短时间范围内的运动。
这样就不需要在最低层直接完成整个长期规划。
这种结构能够提高规划效率,也能够改善任务表现。
从PPT中可以看到,H-JEPA包含不同预测跨度的层级:
Level 1预测5个环境步。
Level 2预测10个环境步。
Level 3预测20个环境步。
越往高层,预测跨度越长;越往低层,预测越具体。
但不同层级学习到的表征也不一样。
在低层,模型会保留更多关于机器人身体运动的细节。到了更高层级,一些具体的运动细节会逐渐被舍弃,只保留对长期规划更重要的信息。

实验中还展示了不同层级的预测结果。
在AntMaze和FourRoom环境中,可以观察到模型在不同抽象层级上的状态表示。

还有一个非常重要的结果。
更高层级的表征空间,能够形成更加平滑的价值函数。
在底层表征中,两个状态之间的距离,不一定能够很好地反映它们距离任务目标还有多远。这种距离可能非常不规则。
但在更高层级,潜在空间中的距离会变得更加平滑,更有利于反映状态与目标之间的关系。
规划就变得更加容易。系统能够利用高层表示判断应该朝哪个方向行动,再通过低层模型实现具体动作。
我认为,这展示了分层世界模型非常有前景的一条研究路线。

▎给AI研究者的建议
最后,我想给AI研究者提出几项建议。
第一,放弃生成式模型,转向联合嵌入架构。
不要把世界模型的主要目标放在生成数据本身,而应该学习能够支持预测的抽象表征。
第二,放弃概率模型,转向基于能量的模型(Energy-Based Models)。
我没有在今天详细讨论这个问题。但我认为,基于能量的模型为理解和构建这类系统提供了更合适的框架。
第三,放弃对比学习方法,转向正则化方法。
我们已经看到了多种能够避免表征坍塌的信息最大化方法。
第四,放弃强化学习,转向模型预测控制。
当然,并不是说强化学习完全没有作用。
当规划的实际结果与模型预测不一致时,我们仍然可以使用强化学习,来调整世界模型或者Critic。
但我认为,对于需要理解物理世界并采取行动的智能系统,模型预测控制应该成为更加重要的方向。

最后还有一句建议。
如果你对实现人类水平的AI感兴趣,就不要把研究重点放在LLM上。
如果我们希望让AI真正理解现实世界,能够预测行动后果,并完成复杂的自主任务,那么我们需要世界模型。
我们需要JEPA,也可能需要进一步发展的层级JEPA。
谢谢大家。

文章精选:
1.刚刚,图灵奖得主Hinton发了首篇RSI论文
