不同世界模型各自构建了怎样的世界本体?
引言:同名异境——都叫世界模型,但世界不同
2018年,David Ha和Jürgen Schmidhuber在论文《World Models》中让一个智能体在自己的"梦境"里学会了赛车。2020年,Ben Mildenhall等人用NeRF证明一小组照片可以重建出可任意漫游的三维场景。2024年,DeepMind的Genie从单张图片生成了可交互的2D游戏世界,OpenAI的Sora被定位为"世界模拟器",李飞飞创立World Labs押注空间智能,Yann LeCun则坚持JEPA路线,认为像素生成本身就是一种浪费。
这些工作都自称在做"世界模型"(World Model)。但当我们追问"你建模的到底是什么世界"时,答案却南辕北辙。Ha的世界是32维隐向量里的梦境,NeRF的世界是连续的5D辐射场,Genie的世界是可token化的视频因果链,LeCun的世界是抽象表征的可预测结构,LingBot的世界是语义叙事与像素感知的分层共生体。它们共享同一个术语,却居住在截然不同的本体论疆域中。
本文的线索是:技术。每一代世界模型都在重新定义"世界是什么",而每一次重新定义都回应了前一代留下的缺陷。从隐空间状态机到神经空间场,从像素自回归到抽象表征预测,从分层智能体到具身融合,世界模型的演进不是一条线性的进步曲线,而是一场关于"世界究竟由什么构成"的持续迭代。
第一阶段(2018-2020):隐空间状态机时代
1. Ha & Schmidhuber 2018 “World Models”
世界是压缩进32维隐向量的梦境。
2018年,David Ha和Jürgen Schmidhuber发表了《World Models》(arXiv:1803.10122),其NeurIPS 2018会议版标题为《Recurrent World Models Facilitate Policy Evolution》。这篇论文的野心不在于创造一个更强大的强化学习算法,而在于提出一个根本性的架构分离:让世界模型承担复杂性,让策略保持极简。
整个系统由三个组件构成。第一个是V(Vision),一个4层卷积变分自编码器(VAE),将64x64的RGB图像压缩为32维隐向量z。第二个是M(Memory),一个单层LSTM搭配混合密度网络(MDN),使用5个高斯混合分量来预测下一帧隐向量的概率分布;在CarRacing环境中,LSTM的隐状态维度为256。第三个是C(Controller),一个单线性层,通过CMA-ES进化策略训练,参数仅867个。
训练流程分为三个阶段。VAE通过重建损失加KL散度学习压缩视觉输入;MDN-RNN通过预测下一帧隐状态的负对数似然学习时序动力学;Controller则在RNN生成的"梦境"隐空间中,通过进化策略最大化累积奖励。关键在于,Controller的训练完全发生在世界模型内部生成的想象轨迹上,而非真实环境中。
实验结果令人印象深刻:在CarRacing-v0中取得906±21的得分,在ViZDoom Take Cover中也表现出色。但更重要的是其本体论启示:智能体可以完全在自身内部世界模型的"梦境"中训练策略;世界的复杂性被压缩进隐向量和循环状态中,而策略本身可以极简单。这是一种"世界即压缩"的本体论——真实世界的高维感知流被折叠进低维隐空间,智能体在这个折叠空间中行动。
然而,这一范式的局限也同样深刻。三阶段分离训练并非端到端,组件之间的梯度无法直接流通;MDN-RNN在长时序预测中会逐渐漂移,梦境越来越不像真实世界;它仅能处理低维简单游戏环境;隐空间中没有显式的物理或几何结构,32维向量的每一维代表什么完全不可解释。这些缺陷为下一代世界模型指明了方向。
2. Dreamer系列(Hafner等人)
世界是可在其中想象行为的隐马尔可夫状态空间。
如果说Ha & Schmidhuber证明了"在梦境中训练"的可能性,那么Danijar Hafner的Dreamer系列则将这一思路推向了工程化的极致。Dreamer回应的核心问题是:如何让世界模型与策略的训练端到端地耦合,而非三阶段分离?
DreamerV1(《Dream to Control: Learning Behaviors by Latent Imagination》,ICLR 2020,arXiv:1912.01603)引入了RSSM(Recurrent State Space Model),由GRU的确定性状态h_t和连续高斯随机隐变量z_t共同构成。模型包含编码器、解码器和奖励预测器,Actor-Critic在想象的rollout上通过解析梯度回传进行训练,总损失由ELBO、actor损失和critic的Bellman损失组成。这是第一次让基于模型的强化学习在连续控制域中实现了真正的端到端想象训练。
DreamerV2(《Mastering Atari with Discrete World Models》,ICLR 2021,arXiv:2010.02193)做出了关键改进:将连续高斯隐变量替换为离散表示——32个categorical变量,每个变量32个类别,总计1024维的离散表示空间,并使用Straight-Through估计器进行梯度回传。此外新增了discount predictor(以伯努利分布预测episode是否继续),并引入KL Balancing技术防止prior collapse。DreamerV2成为第一个在Atari 55款游戏上达到人类水平(1.2倍人类中位数)的基于模型的强化学习方法,其世界模型参数量约20M。
DreamerV3(《Mastering Diverse Domains through World Models》,arXiv:2301.04104,2023年1月提交,正式发表于Nature 2025)则追求算法的领域无关性。它沿用纯离散categorical表示(而非离散与连续的混合),GRU隐状态为512维(大规模配置可达4096维)。其技术工具箱包括:symlog/symexp变换用于压缩大值防止梯度主导,Twohot编码(255个bin)用于奖励和价值预测,Free Bits(KL小于1 nat时不回传梯度以防collapse),Percentile Normalization,以及Unimix(0.99倍softmax加0.01倍均匀分布)。凭借这套技术,DreamerV3以单一固定超参数在150余个任务上超越了专门调参的方法,覆盖DMControl、Atari、Crafter乃至Minecraft等差异巨大的领域,想象horizon为15至16步。
Dreamer系列的本体论主张是:
世界模型的隐状态是马尔可夫的,足以支撑长期行为学习;一个足够鲁棒的算法可以消除领域特定的调参需求。世界被还原为一个状态转移概率分布,智能体在这个分布中想象未来并选择行动。
但局限依然存在。15至16步的想象horizon意味着长期规划能力受限;纯离散表示在精细连续值的推理上存在表达瓶颈;隐空间中仍然没有显式的3D或物理结构,其几何不可解释。Dreamer证明了隐空间马尔可夫状态可以支撑复杂行为,但它没有回答"这个状态空间中的世界长什么样"。
第二阶段(2020-2023):神经空间场时代
3. NeRF
世界是连续的5D辐射场(3D空间位置,2D俯仰与方位角)。
当强化学习社区在隐空间中追逐马尔可夫状态时,计算机视觉社区走上了一条截然不同的道路。2020年,Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi和Ren Ng在ECCV 2020上发表了《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》(Oral,Best Paper Honorable Mention),提出了一种全新的场景表示方式。
NeRF的核心架构是一个8层全连接MLP,每层256通道并使用ReLU激活,在第4层后加入skip connection以保留高频信息。输入经过位置编码:3D空间位置使用L=10个频率带编码为63维,视角方向使用L=4个频率带编码为27维。MLP的输出是体积密度σ(一个标量)和与视角相关的RGB颜色。
渲染通过可微体积渲染实现。对于一条射线r(t)=o+td,其颜色累积为C®=∫T(t)σ(r(t))c(r(t),d)dt,其中T(t)是累积透射率。实际操作中采用分层采样:coarse网络采样64个点,fine网络在此基础上再采样128个点,两个MLP同时训练。输入是稀疏的多视角图像和已知的相机位姿,输出是任意新视角下的光致真实感图像。
训练是逐场景独立进行的,使用MSE损失,通常需要10万至30万次迭代,耗时数小时。
NeRF的本体论革命在于:
场景的几何与外观被隐式编码在MLP的权重中,而非显式存储为网格或点云。体积密度σ是几何的隐式表示——它不告诉你表面在哪里,但你可以通过积分射线来找到它。世界不再是离散的物体集合,而是一个连续的场,一个定义在5D空间(3D位置加2D视角方向)上的函数。这是一种"世界即场"的本体论。
NeRF的局限也很明显。训练和渲染都很慢(渲染仅数FPS);只能处理静态场景;依赖精确的相机位姿估计;没有语义或物体级结构;逐场景训练意味着无法跨场景复用知识。但它开启了一个全新的方向:世界模型可以拥有显式的几何结构,即使这种结构是隐式编码的。
4. 3D Gaussian Splatting (3DGS)
世界是数百万个各向异性高斯椭球的集合。
NeRF证明了神经场的表现力,但它的速度瓶颈使其难以应用于实时场景。2023年,Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis在ACM TOG(SIGGRAPH 2023,Vol.42 No.4,DOI:10.1145/3592433)上发表了《3D Gaussian Splatting for Real-Time Radiance Field Rendering》,用一种完全不同的表示方式解决了这个问题。
3DGS将场景表示为大量3D高斯椭球的集合,典型场景包含100万至500万个高斯。每个高斯具有以下属性:位置μ(3D)、协方差Σ(由3维缩放s和4维旋转四元数q参数化,Σ=RSS^TR^T,形成各向异性椭球)、不透明度α(经sigmoid激活)、以及球谐颜色(SH degree 3,每通道16个系数,RGB共48个系数)。
渲染通过可微光栅化实现。3D高斯被投影为2D高斯(使用EWA splatting,Σ’=JWΣW^TJ^T),然后采用基于tile的并行光栅化:将画面分为16×16像素的tile,逐tile进行深度排序,使用alpha混合的over-operator进行合成,当不透明度接近1时提前终止以节省计算。
训练从COLMAP SfM重建的点云初始化,使用L1加D-SSIM的组合损失(0.2×L1 + 0.8×(1-D-SSIM))。关键在于自适应密度控制:每100次迭代执行一次densification(对梯度大的高斯进行分裂或克隆)和pruning(移除低不透明度或过大的高斯),使高斯数量和分布在训练中动态优化。
3DGS的优势是革命性的:训练仅需分钟级(对比NeRF的数小时),1080p分辨率下可达60+FPS实时渲染(对比NeRF的数FPS),而且由于是显式参数表示,场景可以直接编辑。
3DGS的本体论与NeRF形成了有趣的对照。NeRF将世界隐式编码在神经网络权重中,而3DGS将世界显式存储为可优化的高斯参数。可微光栅化是连接3D表示与2D图像的桥梁——它不是神经网络,而是一个可微的图形学操作。这是一种"世界即粒子"的本体论:场景由数百万个基本元素(高斯椭球)构成,每个元素携带位置、形状、不透明度和颜色,整体通过光栅化合成出视觉世界。
局限包括:需要多视角输入和SfM初始化;内存占用大(数GB显存,对比NeRF约5MB的MLP);以静态场景为主(动态场景需要4DGS等扩展);没有拓扑或语义结构。但3DGS证明了显式表示与神经优化可以结合,为后续的实时世界生成奠定了基础。
第三阶段(2023-2024):像素自回归与抽象表征时代
5. Genie系列(DeepMind)
世界是可被token化、自回归生成的视频因果链。
如果说NeRF和3DGS关注的是"如何从图像重建3D空间",那么DeepMind的Genie系列则问了一个更激进的问题:能否直接从视频中学习一个可交互的世界?2024年2月23日,Genie 1(《Genie: Generative Interactive Environments》,arXiv:2402.15391)发布,11B参数,训练数据约30,000小时的2D平台游戏视频。
Genie 1由三个组件构成。第一个是Spatiotemporal Video Tokenizer,一种VQ-VAE式的时空tokenizer,将视频帧压缩为离散token序列。第二个是Latent Action Model,这是Genie最具洞见的设计:它无需动作标签,而是无监督地从帧间变化中发现了8个离散动作——动作不是外部输入,而是从视频动力学中内生推断的隐变量。第三个是Autoregressive Dynamics Model,使用因果掩码预测下一帧的token。输入一张图像加上一个动作,输出就是可交互的2D平台游戏。
Genie 1的局限在于:仅支持2D侧视角,时长约10秒,只有8个离散动作。但它证明了一个关键命题:世界可以从无标注视频中自监督地学习,交互性可以从视频因果结构中涌现。
Genie 2于2024年12月4日发布(以技术报告和博客形式,无独立arXiv论文),引入了自回归潜在扩散模型(Autoregressive Latent Diffusion Model),与Genie 1的纯自回归不同,它结合了扩散机制。Genie 2支持3D环境和第一人称视角,支持键盘鼠标实时交互,分辨率720p,时长约10至20秒,并具有场景记忆一致性。
Genie 3于2025年8月5日作为研究原型发布(未公开),融合了Veo视频生成架构的元素,支持720p@20-24fps的实时交互,实现了数分钟的世界一致性(其记忆能力被描述为"自发涌现"),并支持通过文本命令添加物体或角色(Promptable World Events)。2026年初推出了Project Genie Web应用,结合Nano Banana Pro和Gemini。但Genie 3仍存在物理推理失败(如积木塔)、社交和多智能体交互失败、长时指令遵循失败等问题,尚不具备真正的开放性。
Genie系列的本体论演进清晰可见:Genie 1的世界是2D像素因果链,Genie 2的世界是潜在扩散空间中的3D可交互结构,Genie 3的世界是具有持久记忆的神经游戏引擎。其核心洞见始终如一:世界的动力学可以通过自回归生成来建模,而动作是从观测中推断的隐变量,而非预设的输入接口。
6. 李飞飞与World Labs——空间智能路线
世界是具有内部几何结构和物体恒常性的3D空间。
在Genie追求像素级自回归的同时,李飞飞选择了一条不同的道路。2024年初,李飞飞联合Justin Johnson、Christoph Lassner和Ben Mildenhall(NeRF的第一作者)创立了World Labs。
World Labs的实际发布序列体现了一条清晰的技术演进路线。2024年12月发布"Generating Worlds",这是首个3D世界生成demo:输入单张任意图片,输出可在浏览器中用WASD加鼠标漫游的3D可交互世界,场景具有持久性和空间一致性。技术细节未完全公开,推测基于单图到深度估计再到3D点云或高斯散射的路径。
2025年9月发布"Generating Bigger and Better Worlds",展示了更大更详细的环境。2025年10月发布RTFM(Real-Time Frame Model),一个实时生成式世界模型,在交互时实时生成视频帧,同时学习世界的持久3D结构。2025年11月发布Marble,首个商业化多模态世界模型,输入文本、图片、视频或粗略3D布局,输出可自由探索、可编辑、可导出的3D世界;2026年1月推出World API。2026年9月发布Atlas,自称"全球首个多模态世界模型",采用多模态自回归扩散Transformer,输入文本、图像、视频、相机位姿、深度图和3D数据——所有模态被放入同一序列,图像与相机位置绑定组成Spatial Context——同一模型同时完成视频生成、3D重建和时空模拟,核心押注新视角预测(Novel View Prediction)作为世界模型的基础任务。
需要区分的是,GAIA-1(《GAIA-1: A Generative World Model for Autonomous Driving》,arXiv:2309.17080,2023年9月,Wayve公司,约9B参数)是自动驾驶领域的世界模型,将视频、文本和动作映射为离散token进行自回归预测,但它与李飞飞和World Labs没有直接关系。
World Labs的本体论主张是:世界不是像素序列,而是具有内部几何结构和物体恒常性的3D空间。其路线是从2D像素生成走向3D空间智能,强调空间一致性和持久性——当你转身再转回来时,物体应该还在那里。这是对纯自回归方法的一种本体论批判:像素序列可以生成视觉上合理的视频,但它不保证空间的一致性和物体的恒常性,因为它根本没有"空间"这个概念。
局限在于:技术细节未公开;早期版本非实时;交互以视角漫游为主,缺乏复杂的物理交互。但World Labs代表了一种明确的本体论选择:世界必须是3D的,必须有空间结构。
7. V-JEPA / I-JEPA(LeCun方向)
世界是隐空间表征的可预测结构(更接近内心世界)。
Yann LeCun对世界模型的思考独树一帜。他的核心论点是:像素生成是浪费容量。人类开车时不会去预测每棵草的精确摆动,只关注道路、车辆和红绿灯。因此,世界模型应该在抽象表征空间中工作,而非在像素空间中重建。
I-JEPA(《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》,ICCV 2023,arXiv:2301.08243)由Mahmoud Assran、Quentin Duval、Ishan Misra、Piotr Bojanowski、Pascal Vincent、Michael Rabbat、Yann LeCun和Nicolas Ballas(Meta FAIR)提出。架构包括一个ViT encoder(学生)、一个EMA teacher encoder(stop-gradient)和一个Predictor网络。与MAE在像素空间重建被掩码区域不同,I-JEPA在抽象表征空间预测目标块的embedding,使用L2距离作为损失。这种设计避免了将容量浪费在不可预测的细节上。ViT-Huge/14在ImageNet上使用16块A100训练72小时即可完成。
V-JEPA(《Revisiting Feature Prediction for Learning Visual Representations from Video》,arXiv:2404.08471,2024年2月16日发布,与Sora同一天)由Adrien Bardes、Quentin Garrido、Jean Ponce、Xinlei Chen、Michael Rabbat、Yann LeCun、Mahmoud Assran和Nicolas Ballas(Meta FAIR)提出。ViT encoder处理被掩码的视频(视为3D体,patch size为2×16×16),Predictor在时空表征空间预测被掩码区域的特征。训练数据为VideoMix2M(200万视频),使用ViT-H/16 at 384×384,在Kinetics-400上达到81.9%,SSv2上72.2%,ImageNet上77.9%。
V-JEPA 2于2025年6月发布,1B参数,使用100万小时视频训练。它采用两阶段流程:视觉掩码去噪预训练,然后后训练为动作条件模型(V-JEPA 2-AC),支持机器人操作规划,仅用62小时即可完成机器人任务训练。
JEPA路线的本体论是:智能体应学习世界的抽象状态表示而非像素细节;世界的可预测性存在于语义表征空间而非原始感知空间。这是一种"世界即表征"的本体论——世界不是你看到的像素,而是像素背后那些稳定、可预测的抽象结构。预测这些结构比预测像素更高效,也更接近人类认知的工作方式。
局限在于:不生成像素意味着无法直接可视化(需要额外的扩散解码器);仅做表征学习,不直接支持规划或控制;动作条件预测需要额外的后训练阶段。但JEPA代表了对"生成式世界模型"霸权的一种重要反思:不是所有世界模型都需要生成像素。
第四阶段(2024-2026):分层智能体与具身融合时代
8. LingBot-World-Infinity(Director-Pilot双智能体)
世界是语义叙事与像素感知的分层共生体。
2026年7月8日,Zelin Gao等21位作者(机构为Robbyant,即蚂蚁集团灵玻科技团队)提交了《Infinite Worlds with Versatile Interactions》(arXiv:2607.07534),其前作为LingBot-World 1.0(arXiv:2601.20540,2026年1月)。这篇论文提出了一种与此前所有单模型世界模型根本不同的架构。
LingBot-World-Infinity的主模型为14B参数,另有1.3B的轻量版可在单GPU上部署。核心生成器是Diffusion Transformer(DiT)视频生成器,作为帧预测器。但其真正的创新在于Agentic Harness——一个Director-Pilot协同仿真框架。
Director(导演)是一个视觉语言模型(VLM),负责宏观语义规则、因果推理、事件节奏控制,以及随场景推进合成新的环境元素。Pilot(领航员)是DiT视频生成器,负责低层物理动力学模拟和渲染过渡,同时规划和执行角色行为。两者职责分离:Director管"世界生成什么",Pilot管"世界怎么演化和渲染",通过协同仿真(co-simulation)机制耦合。
四大升级构成了这一工作的技术贡献:因果预训练范式实现无界交互时长并保持输出质量一致;从基础模型蒸馏出实时变体,支持720p@60fps;扩展交互元素(攻击、射箭、施法、射击加文本驱动事件);首创将agentic harness集成到世界建模中。
LingBot的本体论是对单模型范式的直接挑战。在传统单模型(如Genie、Sora)中,语义、物理和渲染统一在一个生成器中,长时依赖隐式记忆容易漂移。LingBot显式分离了语义锚点(Director)和物理渲染(Pilot),Director可以主动合成新的环境元素。高层语义规则不直接渲染像素,而是通过VLM设定因果边界和环境生成方向,低层DiT在该边界内完成物理一致的帧到帧过渡。世界在Director的主动合成下"生长",而非固定初始条件后被动演化。
这是一种"世界即分层共生"的本体论:语义层和感知层不是同一事物的不同抽象级别,而是两种不同的本体论范畴,通过协同仿真耦合在一起。语义层提供因果骨架,感知层填充物理血肉。
局限在于:论文极新(2026年7月),独立复现和第三方评测尚缺;Director与Pilot之间信息传递机制的细节需要进一步精读论文;交互场景以游戏化和奇幻风格为主。但LingBot代表了世界模型架构的一个重要转向:从单一生成器走向多智能体协同。
9. 具身多模态世界模型
世界是可在观测-动作联合空间中学习的物理动力学分布。
世界模型的终极考验不是生成好看的视频,而是支撑智能体在物理世界中行动。2024年以来,世界模型与具身智能的融合成为最活跃的方向。
Sora由OpenAI于2024年2月15日在技术报告《Video generation models as world simulators》中发布。它采用DiT加时空潜在patch(spacetime patches)架构:视频被压缩到低维潜在空间后分解为patch,类似GPT中的token;推理时通过排列patch来控制尺寸和时长。Sora展示了显著的scaling properties,并被OpenAI官方定位为"world simulator",已展示在Minecraft中进行基本策略模拟的能力。Sora 2(2025年9月30日)提升了物理理解和世界状态持久化。2026年3月,Sora团队转向机器人仿真方向,消费级视频产品下线;Sam Altman于2026年9月确认OpenAI自研人形机器人。需要注意的是,Sora不直接输出机器人动作,而是作为仿真环境来训练机器人(sim-to-real范式)。
RT系列(Google DeepMind)走的是另一条路。RT-1(arXiv:2212.06817,2022年12月,35M参数)使用EfficientNet-B3加TokenLearner加decoder-only Transformer,基于13万条真实演示训练,将7维动作以每维256个bin离散化,以3Hz控制频率输出。RT-2(arXiv:2307.15818,2023年7月)是Vision-Language-Action模型,基于PaLM-E 12B或PaLI-X 55B,将动作表示为文本token,与语言统一在同一输出空间,实现了互联网知识的迁移,涌现出符号理解、推理和人类识别能力。RT-X/Open X-Embodiment(2023年10月)联合21家机构,汇集了100万条轨迹、跨越21种机器人本体,训练出RT-1-X(35M)和RT-2-X(55B)。需要明确的是,RT系列本质上是策略模型(policy),不是显式世界模型,世界知识以隐式方式编码在VLM backbone中。
π0(Physical Intelligence)在《π0: A Vision-Language-Action Flow Model for General Robot Control》(arXiv:2410.24164,2024年10月31日)中提出了3B参数的模型,基于PaliGemma VLM backbone加条件流匹配(conditional flow matching)生成连续动作(无需离散化),跨8种机器人平台数据训练。2025年2月开源(openpi,Apache 2.0),π0.5(2025年4月)进一步提升了开放世界泛化能力。π0同样是策略模型,流匹配建模的是动作空间的概率流。
NVIDIA Cosmos在《Cosmos World Foundation Model Platform for Physical AI》(arXiv:2501.03575,2025年1月6日CES发布)中提供了三类模型:Cosmos Predict(未来视频帧预测)、Cosmos Transfer(风格和域迁移)、Cosmos Reason(多模态VLM理解),包含扩散和自回归两种范式,应用于自动驾驶多视图生成、驾驶挑战场景生成、人形机器人轨迹生成和Diffusion Policy。Cosmos明确提出了"digital twin of the world"概念,强调物理一致性和闭环仿真。
具身路线的本体论是:世界模型从"生成视频"推向"生成可执行的物理交互"。策略模型(RT、π0)认为直接学习动作分布比先预测像素更高效——你不需要先想象出下一帧画面再决定动作,你可以直接从观测映射到动作。显式世界模型(Sora、Cosmos)则提供仿真环境来补充策略训练,解决真实世界数据稀缺的问题。世界是观测与动作联合空间中的物理动力学分布,而不是纯粹的视觉生成。
参照系:游戏引擎
世界是预先实例化的实体、组件与显式物理方程的集合。
要理解AI世界模型的本体论,必须将其与一个成熟的参照系对比——游戏引擎。游戏引擎代表了"世界是被设计的"(designed)这一范式,而AI世界模型代表了"世界是被学习的"(learned)这一范式。
UE5(Epic Games,2022年4月发布,最新版本UE5.8于2026年6月发布)展示了设计范式的极致。Nanite是虚拟化微多边形几何体系统,使用层级簇树(每簇128个三角形),只流送可见细节,使百万多边形资产能实时60fps渲染。Lumen是完全动态的全局光照系统,软件光追基于有符号距离场,支持无限漫反射反弹,能即时响应几何体变化。Chaos物理引擎支持刚体、破坏、布料、流体和载具模拟(替代了PhysX),支持确定性模拟。World Partition实现自动网格分割和流式加载(One File Per Actor)。
Unity DOTS(2019年引入)则代表了数据导向的设计范式。ECS架构中,Entity仅是ID,不拥有行为或数据;Component是按数据组织的数组;System是变换函数;Archetype保证连续内存布局。配合C# Job System(安全多线程)和Burst Compiler(SIMD向量化,10至100倍性能提升),Unity Physics实现确定性模拟,并可交换Havok后端。
游戏引擎的本体论是:世界由显式的3D场景图、实体组件、牛顿力学方程构成,完全确定性,内容来自预定义资产。AI世界模型的本体论是:世界由隐式神经网络权重、概率性采样和生成式输出构成,内容来自学习到的分布。两者在世界表示、物理规则来源、确定性、内容来源、可解释性、物理精度和内容多样性等维度上形成了系统对照。
游戏引擎是物理一致性和实时交互的金标准参照系。AI世界模型的目标不是取代游戏引擎,而是补充传统仿真器在"开放世界多样性"上的不足——游戏引擎可以精确模拟一个预先设计好的世界,但无法自动生成无限多样的新世界。
汇总对比
| 代表工作 | 世界本体论断 | 核心架构 | 物理规律来源 | 确定性 | 关键局限 |
|---|---|---|---|---|---|
| Ha & Schmidhuber World Models | 压缩进32维隐向量的梦境 | VAE+MDN-RNN+线性Controller | 隐式编码在RNN中 | 概率性 | 三阶段分离训练,长时漂移,无几何结构 |
| DreamerV1/V2/V3 | 可想象行为的隐空间马尔可夫状态 | RSSM(GRU+categorical)+Actor-Critic | 隐式编码在RSSM中 | 概率性 | 想象horizon有限,离散表示连续值瓶颈,隐空间不可解释 |
| NeRF | 连续的5D辐射场 | 8层MLP+位置编码+可微体积渲染 | 隐式编码在MLP权重中 | 确定性(给定输入) | 训练渲染慢,静态场景,依赖相机位姿,无语义结构 |
| 3DGS | 数百万各向异性高斯椭球的集合 | 3D高斯参数+可微光栅化+自适应密度控制 | 隐式(无显式物理) | 确定性(给定参数) | 需SfM初始化,内存大,静态为主,无拓扑语义 |
| Genie 1/2/3 | 可token化自回归生成的视频因果链 | 时空tokenizer+Latent Action+自回归/扩散 | 统计学习自视频 | 概率性 | 物理推理失败,多智能体失败,长时指令遵循差 |
| World Labs (Generating Worlds/RTFM/Marble/Atlas) | 具有内部几何结构和物体恒常性的3D空间 | 单图→深度→3D表示;多模态自回归扩散Transformer | 学习+几何先验 | 混合 | 技术细节未公开,早期非实时,物理交互有限 |
| I-JEPA/V-JEPA/V-JEPA 2 | 隐空间表征的可预测结构 | ViT encoder+EMA teacher+Predictor | 隐式(表征空间) | 确定性(预测) | 不生成像素无法可视化,仅表征学习,需额外后训练 |
| LingBot-World-Infinity | 语义叙事与像素感知的分层共生体 | Director(VLM)+Pilot(DiT)+协同仿真 | VLM语义+DiT统计 | 概率性 | 论文极新缺独立评测,信息传递机制待验证,场景偏游戏化 |
| Sora/RT系列/π0/NVIDIA Cosmos | 观测-动作联合空间中的物理动力学分布 | DiT/VLA/流匹配/扩散+自回归 | 统计学习+仿真 | 概率性 | 策略模型无显式世界模型,sim-to-real gap,物理精度不足 |
| UE5/Unity DOTS | 预先实例化的实体组件与显式物理方程 | 场景图+ECS+Nanite+Lumen+Chaos | 显式牛顿力学方程 | 完全确定性 | 内容多样性受限,需人工设计资产,开放世界生成困难 |
结尾:技术的本体
回顾这条时间线,我们看到的不是一条线性的技术进步史,而是一场持续的本体论争论。
2018年,Ha & Schmidhuber将世界压缩进32维隐向量,证明智能体可以在梦境中学习。Dreamer系列回应了其非端到端训练的缺陷,用RSSM和想象梯度回传将隐空间马尔可夫状态推向了150余个任务的通用化。但隐空间始终缺乏几何结构——你无法在32维向量中指出"墙在哪里"。
2020年的NeRF和2023年的3DGS回应了这一缺陷,将几何重新引入世界模型。NeRF用连续辐射场证明了隐式几何的表现力,3DGS用显式高斯椭球解决了实时性问题。但它们重建的是静态场景,不是可交互、可演化的世界。
2024年的Genie回应了"无法生成开放世界"的缺陷,用自回归生成从视频中学习可交互环境。但纯像素生成被LeCun批评为浪费容量——JEPA路线回应了这一点,主张在抽象表征空间中预测世界结构。然而JEPA不生成像素,无法直接支持规划和控制。
2026年的LingBot回应了单模型长时漂移的缺陷,用Director-Pilot双智能体分离语义锚点和物理渲染。具身路线则回应了"能看不能动"的根本缺陷,将世界模型从视频生成推向物理交互。
每一代都在回应前一代的缺陷,每一次回应都引入了新的本体论预设。不存在唯一的"世界模型"——每个流派都在自己的本体论预设下定义"世界"。技术选择即本体论选择:你选择VAE还是MLP,选择自回归还是扩散,选择像素空间还是表征空间,选择单模型还是多智能体,这些选择背后都是对"世界是什么"的不同回答。
- 世界是压缩进32维隐向量的梦境
- 世界是可在其中想象行为的隐空间马尔可夫状态
- 世界是连续的5D辐射场
- 世界是数百万个各向异性高斯椭球的集合
- 世界是可被token化、自回归生成的视频因果链
- 世界是具有内部几何结构和物体恒常性的3D空间
- 世界是隐空间表征的可预测结构
- 世界是语义叙事与像素感知的分层共生体
- 世界是可在观测-动作联合空间中学习的物理动力学分布
- 世界是预先实例化的实体、组件与显式物理方程的集合
未来的方向可能是多种本体论的融合:显式几何(来自NeRF/3DGS)提供空间结构,隐式动力学(来自Dreamer/Genie)提供演化规则,语义推理(来自JEPA/LingBot Director)提供因果骨架,具身交互(来自Sora/RT/π0/Cosmos)提供物理接地。当这些不同的"世界"能够在同一个系统中协同工作时,我们或许才能说,AI真正构建了一个接近真实世界的模型。
同名异境。Ha的梦境、Mildenhall的辐射场、Kerbl的高斯云、DeepMind的因果链、李飞飞的3D空间、LeCun的表征结构、LingBot的分层共生、具身智能的物理动力学——这些不同的"世界"不是互相排斥的,而是真实世界的不同切面。正是它们的多样性,共同逼近了世界本身的多面性。而这,或许就是世界模型这一概念最深刻的意义:它提醒我们,"世界"从来不是一个给定的东西,而是一种建构——每一种建构,都揭示了世界的一种可能。
