点击上方“图灵人工智能”，选择“星标”公众号

您想知道的人工智能干货，第一时间送达

“世界是一切发生的事实。”
——路德维希·维特根斯坦，《逻辑哲学论》，1921 年

世界并不由词语构成。

在此前的一篇文章中，我们提出过一个判断：空间智能将成为人工智能的下一个前沿，而世界模型是通向空间智能的关键路径。本文中，我和 World Labs 团队希望进一步展开这个问题：当前有许多系统都被称为“世界模型”，但真正构成这一能力的功能部件究竟有哪些？它们各自承担什么作用？

语言模型已经让机器在概念、词汇和推理方面具备了卓越能力。然而，无论是现实世界还是虚拟世界，物理世界都运行在另一种基础之上。语言模型学习的是文本的统计结构，世界模型学习的则是空间与时间的统计结构：光线如何落在物体表面，一座花园从未被相机拍摄过的角度看起来是什么样，物体如何受到外力影响，并遵循物理规律运动。

因此，“世界模型”已经成为当今人工智能领域最重要、也最容易被泛化使用的概念之一。计算机视觉、机器人学、强化学习和生成式人工智能都在声称自己正在构建世界模型，但它们所指的对象并不相同。一个能够生成华丽却不符合物理规律火焰的视频模型，一个能够临时生成可玩游戏的语言模型，一个能够精确模拟燃烧过程的物理引擎，都可能被称为世界模型。

古希腊人始终无法就“世界由什么构成”达成一致：它究竟由火构成，由水构成，还是由不可再分的原子构成？根本原因在于，“世界”从来不是一个单一对象。它更像是一种总称，用来指代某个思想者在推理时所需要把握的整体。人工智能如今继承了同样的问题，而且恰好发生在这个领域最需要概念精确性的时刻。

分类背后的基本循环

要澄清这种混乱，需要先回到一张比今天这些技术更早出现的图。包括 Sutton 和 Barto 的经典教材在内，强化学习教科书几十年来一直使用类似的图式，来描述智能体如何与世界互动。这个图式的正式名称，是部分可观测马尔可夫决策过程，也就是 POMDP。“世界模型”这一术语最早的技术含义，也正出自这一传统。

一个智能体，可以是人、机器人，也可以是软件系统。智能体会采取行动，行动会影响世界的状态。但智能体从来不能直接看到世界的状态。它能够接收到的，是观测：落在视网膜上的光子，传感器返回的读数，视频帧中的像素。新的观测会进一步影响新的行动，这一循环由此持续运转。

这里有必要解释“状态”一词。不同学科对“状态”的使用并不相同。本文所说的状态，并不是化学中固体、液体、气体意义上的状态，而是物理学和机器人学意义上的状态：在某一时刻，对世界中正在发生的一切进行完整描述，包括每一个物体、每一个位置、每一个速度、每一种属性。状态是世界的底层现实。原则上，它是完整的；但对任何置身其中的智能体而言，它又无法被直接看见。观测，是智能体对这一现实的局部视图。行动，则是智能体基于观测作出的响应。

“智能体—行动—状态—观测—智能体”这一循环，构成了现代意义上“世界模型”的技术基础。这个词组本身出现得更早，可追溯至 Kenneth Craik 在 1943 年提出的观点：心智能够通过运行现实的“小尺度模型”来进行推理。到了 20 世纪 80 年代末和 90 年代初，这一思想被引入神经网络研究。这个循环也解释了今天人们为何会以不同方式使用“世界模型”一词：今天被称为世界模型的各种系统，其实都是这一循环的不同投影。它们各自输出的是循环中的不同部分。

世界模型的三种功能

第一类世界模型是渲染器（renderer）。渲染器输出的是观测，通常表现为供人眼观看的像素图像。对渲染器而言，最重要的指标是视觉保真度。一个能够把文本提示词变成电影级无人机航拍画面的视频模型，就是渲染器。Google 的 Genie 3 这类交互式系统也是渲染器；World Labs 自身的 RTFM 也是如此，它能够根据用户输入实时生成画面帧。此类模型并不一定拥有明确的三维结构理解。它生成的是“观看者会看到什么”，而不是“世界真实是什么”。从空中俯瞰，画面中的建筑也许完美无瑕；但一旦试图驾驶车辆进入画面中的城市，结构就可能马上崩塌。

第二类世界模型是模拟器（simulator）。模拟器输出的是状态，也就是在几何、物理或动态层面上可信的世界表征。人可以理解它，计算机程序也可以在其中计算和交互。渲染器的核心承诺是视觉效果，模拟器的核心承诺则是结构准确。它要求几何结构能够经得起检查，物理过程符合牛顿定律，动态行为按照世界应有的方式演化。模拟器同时服务两类对象。一类是建筑师、设计师、电影制作人、游戏开发者等人类专业人员，他们需要的不只是“看起来合理”，而是更高层次的准确性。另一类是强化学习智能体、机器人控制器、自动驾驶系统等计算机程序，它们把模拟器作为训练场，在其中大规模地与世界互动，测试那些在现实中危险、昂贵或难以执行的场景。

第三类世界模型是规划器（planner）。规划器输出的是行动。在给定观测和目标之后，规划器要回答的问题是：智能体下一步应当做什么？从某种意义上说，规划器与渲染器正好相反。渲染器以行动为输入，输出观测；规划器则以观测为输入，输出行动，从而闭合感知与行动之间的循环。视觉—语言—行动模型、基于模型的系统，以及新一代世界行动模型，本质上都是规划器的尝试：它们试图让系统能够判断机器人在非结构化世界中应当采取什么行动。

这三类模型基本覆盖了当前已经进入实际交付阶段的大部分能力。在实践中，将它们区分开来非常有价值。不过，这三类并不存在根本性的割裂。关于世界如何运行的底层知识——几何、物理、动态规律——同时支撑着三者。原则上，一个能够从任意角度渲染杯子的模型，也应当能够模拟杯子被推动之后会发生什么，并进一步规划一只手如何把杯子拿起来。越来越多前沿研究，正在主动模糊这三类模型之间的边界。

为什么模拟是关键环节

在这三类模型中，模拟器受到的公众关注最少，却最具决定性意义。本文正是想讨论这种不对称。

渲染器是目前商业化程度最高的一类。一批图像生成或文本生成视频产品正在消费级市场和企业级市场快速扩张。Google 的 Nano Banana 模型已经把接近渲染器水准的图像生成能力带给了潜在数亿用户。这项技术是真实的，市场也是真实的。但渲染器优化的是视觉可信度，而不是物理准确性。这个上限非常关键。它们的输出可以很美，却不能被用来严肃地设计建筑，也不能被信任地用于训练机器人。

规划器最令人兴奋，也最处在早期阶段。它与快速发展的机器人学习领域紧密相关。过去两年，机器人领域出现了不少在视频中看起来很惊艳的演示。但我们也必须坦率地指出，这些演示真正证明的内容非常有限。几乎所有演示都发生在高度受控的实验室环境中，物体集合很窄，任务周期很短。它们尚未在真实部署所要求的复杂度、变化性和持续时间上得到验证。一个吸引人的演示视频，距离一个能够在厨房、仓库或手术室中可靠工作的机器人，仍然相距甚远。尽管如此，商业投入已经非常庞大。一批资金充足的新进入者正在竞相推出通用规划系统，大型基础设施公司也在更广泛的模拟技术栈之上布局规划能力。能够规划的机器人，才是真正能够工作的机器人。整个行业都在争夺率先实现这一目标的位置。

模拟正是连接渲染与规划的桥梁。如果说语言是对世界的抽象，像素是对世界的投影，那么几何、物理和动态就是世界本身。模拟器必须工作在这一层面上。它是结构性骨架：视觉外观可以从中推导出来，行动后果也可以从中推导出来。前者服务于渲染器，后者服务于规划器。

一个真正掌握模拟能力的模型，既可以把自身对世界的理解投射成供人观看的像素，也可以把这种理解转化为具身智能体所需的行动预测。一个只掌握渲染，或只掌握规划的模型，无法同时做到这两件事。模拟的商业覆盖面也极为广阔。仅 NVIDIA Omniverse 一个方向，就瞄准了 NVIDIA 所估算的超过一万亿美元可服务市场，覆盖工厂、仓库、供应链和数字孪生等场景。机器人训练、自动驾驶测试、建筑可视化、工程设计、药物发现，都依赖某种形式的模拟能力。

这一领域最困难的开放问题也集中在模拟环节。带有明确几何结构、材料属性和物理标注的三维数据，远比渲染器训练所依赖的互联网视频稀缺。仿真到现实之间仍然存在差距，也就是同一对象在模拟环境中的行为，与其在现实环境中的行为并不完全一致。生成式模拟器还带来了新的风险：AI 生成的几何结构看起来正确，但内部可能存在自相交、尺度错误等问题，进而导致毫无意义的物理结果。大规模多物理场模拟同样极其困难。刚体、可变形物体、流体和布料同时发生交互时，计算成本仍然比单一领域模拟高出多个数量级。

在 World Labs，Marble 是我们进入这一领域的第一步。它可以接收多模态提示，包括文本、图像、视频或空间草图，并生成可探索的三维环境。它的输出既包括用于视觉探索的 Gaussian splats，也包括物理引擎可以操作的碰撞网格。不过，Marble 只是一个漫长进程的第一章。随着渲染、模拟和规划之间的边界开始消融，这个进程正在整个领域中展开。

边界正在消融，下一步正在到来

但这只是开始。当前世界模型领域最重要的趋势，是三类模型正在逐步融合。其共同基础在于：渲染一个世界、模拟一个世界、在一个世界中行动，三者所需要的知识在很大程度上是相同的。继续以前文的杯子为例，如果一个模型真正理解杯子如何放在桌面上，包括它的几何形状、材料属性、受力反应等，那么它就应当能够从任意角度渲染这个杯子，模拟杯子被推动后的变化，并规划一只手如何将其拿起。渲染器、模拟器和规划器，本质上是同一底层世界理解的三种输出形式。

举例来说，近期来自不同机器人实验室的一小批研究已经表明，至少在概念层面上，预训练的视频渲染器可以被用作世界预测与行动预测的共同骨干。这为渲染器与规划器之间建立了一座桥梁：让同一个模型既能想象接下来会发生什么，也能判断接下来应当做什么。World Labs 的 Marble 已经能够由同一个模型输出 Gaussian splats 和碰撞网格，从而削弱了渲染器与模拟器之间的界限。各个层级都在从被动输出走向交互式系统：渲染器开始受到行动条件的控制，模拟器开始生成更可控、更可编辑的世界，规划器也开始从简单反应转向审慎推演。

这一演进的逻辑终点，是统一的世界模型：一个基础模型能够渲染照片级真实的视图，生成物理上准确的结构，并规划行动序列；同时，它还能根据下游使用者的需要，在不同输出模态之间切换。

当然，这一路径仍然面临许多艰巨挑战。数据条件并不均衡。渲染器拥有海量互联网视频，模拟器和规划器则严重缺乏三维资产和机器人演示数据。对视觉美感的优化，可能牺牲机器人或高保真模拟所需的精确度。如何在同一架构中调和这些矛盾，是当今世界模型研究中最核心的开放问题之一，也是 World Labs 在持续演进 Marble 过程中希望解决的问题。

不过，方向已经清晰。自 20 世纪 80 年代末以来，人工智能领域一直在押注同一个判断：一个足够丰富的世界模型，足以支撑任何智能体看见世界、构建世界，并在世界中行动。今天，这一判断正在驱动新一代研究。真正让这场“重大押注”具有分量的，是正在发生的汇聚：三条原本相互独立的研究脉络，如今各自都已经推动并塑造了数十亿美元规模的产业，而它们正在开始表现得像一个整体。随着三者边界不断消融，它们共同重塑的将不只是某一类技术，而是机器智能与其所处物理世界之间的关系，也就是空间智能的长期演进路径。

语言让机器能够谈论这个世界。世界模型，将让机器最终能够理解、想象、推理，并与这个世界互动。

文章精选：

1.编程时代已终结！ClaudeCode创始人断言：编程就像发短信一样自然，首曝个人最新工作流：自创Sloop循环，单日PR达150！传统SaaS护城河崩掉