从人类认知出发重新审视世界模型
发布时间：2026-09-11来源：图灵人工智能
单击上方“图灵人工智能”，选择“星标”公众号
您想知道的人工智能干货，第一时间送达
从视频生成、具身智能到能够检索文献和调用工具的AI Agent，越来越多系统被冠以“世界模型”之名，但生成连贯画面是否等于理解物理世界，完成复杂任务又是否意味着具备真正的机器认知？2026年4月17日发表于arXiv的一篇综述以认知架构理论为框架，从感知、记忆、语言、推理、想象、动机与元认知七项功能出发，系统比较视频、具身与知识型世界模型。研究指出，当前模型在世界表征和未来预测上进展显著，但内在动机与元认知仍明显不足；世界模型要从“生成得像”走向真正服务于预测、行动与自我修正，仍需回答目标从何而来，以及系统能否识别并纠正自身错误。
关键词：关键词：世界模型、认知架构、机器认知、具身智能、AI Agent、主动推断、元认知
论文题目：Human Cognition in Machines: A Unified Perspective of World Models论文链接：https://arxiv.org/abs/2604.16592
今天，越来越多不同的技术路线被放进“世界模型”（World Model）这个名字之下：从 Dreamer 的潜空间想象、JEPA 的表征预测，到生成未来视频、机器人在行动前预演后果，再到能检索文献、调用工具的 AI Agent。这些系统常被描述为能“理解场景”“想象未来”“推理行动”，甚至表现出“类人行为”。 但一篇新综述提醒我们：这些描述在指向具体计算能力时是有用的，却也可能掩盖模型实际在做什么——生成了连贯的几秒画面，就等于理解了物体、因果和行动吗？能写出研究计划，就等于拥有了某种"科学世界模型"吗？ 《Human Cognition in Machines: A Unified Perspective of World Models》没有试图再给世界模型下一个更宽泛的定义，而是换了一把尺子：以认知架构理论为组织框架，把当代世界模型放进感知、记忆、语言、推理、想象、动机和元认知这七项功能中逐一审视——不问系统整体上"像不像人"，而问它在功能上实现、近似或遗漏了哪些认知能力。沿着这把尺子，研究者发现了两个被严重忽视的功能：动机与元认知，并以主动推断和全局工作空间理论为参照，给出了改进方向。
“世界模型”并不是凭空出现的新名词。早在 1943 年，心理学家 Kenneth Craik 就在《The Nature of Explanation》中提出，人会在头脑中携带一个外部世界的“小尺度模型”，用它来预演尚未发生的事件——这几乎就是今天世界模型定义的雏形。后来 Grush 进一步论证，Craik 所识别的感知—运动回路（sensorimotor loop）会在大脑中形成建模世界的神经回路：感觉运动交互不断确认或否决模型对感觉反馈的预期。认知科学家 Allen Newell 则尝试把人类与机器的认知活动拆解为可以统一讨论的功能部件。在强化学习中，这一思想被写成了更可操作的形式：智能体学习环境的状态转移规律，再利用这个内部模型生成模拟经验、规划行动——Sutton 提出的 Dyna 架构即是代表。[4]2018 年，Ha 与 Schmidhuber 将可学习的视觉压缩、记忆网络和控制器结合，以“World Models”命名这条在内部潜空间中训练控制策略的路线。[2] 此后，随着视频生成、具身控制、视觉—语言—动作模型（VLA）及 Agent 系统的迅速发展，世界模型开始覆盖越来越大的对象范围：它可以是像素或三维几何的预测器，也可以是动作条件下的潜状态动力学，还可以是围绕语言、文献、数据库与工具输出不断更新的知识状态。图1：世界模型思想谱系：从心智模型、认知架构与 Dyna，到今天的神经世界模型。图源：笔者自行可视化，依据相关文献整理。这种扩张并不意味着所有系统都在做同一件事。它恰恰说明，“世界”可以指视觉时空、可操作的物理环境，也可以指一组会被交互改变的知识状态；而“模型”可以是显式的转移函数，也可以分散在编码器、策略、检索器、工具调用和多 Agent 协议之中。这正是《Human Cognition in Machines》一文首先面对的概念问题。作者指出，“世界模型”一词的快速扩张制造了概念上的含混：当一个系统被描述为“理解场景”“想象未来”时，这些说法可以提示模型可能具有的计算能力；但若没有明确的功能标准，它们也会遮蔽系统实际做了什么、没有做什么。用论文的话说，这个领域缺少一种共享的词汇，来区分“哪些认知功能已经存在、哪些缺席、哪些仍只是愿景”。例如，能生成下一帧不等于能够为行动建立因果预测；能在长上下文中保留 token，不等于具有可检索、可更新并能参与决策的记忆；有一个 reward function，也不等于系统形成了自己的动机。既有综述常把世界模型粗略分为“世界表征”与“世界生成”两类，本文并不否认这个划分，而是追进一步：两类系统的内部究竟依赖哪些认知功能？不同领域在这些功能上又各自推进到了哪里？在论文的综述范围对比表（Table 1）中，既有综述分别按“理解 vs 预测”“仿真器”“物理对齐”等线索组织，而本文是第一个以认知架构理论为组织框架、并同时覆盖视频、具身与知识型三类系统的综述。
2.1 Newell、Soar 与 Global Workspace本文借用的不是“机器大脑”这一比喻，而是认知架构理论中的功能分解：先把一个能够适应环境的智能系统需要完成的工作拆开，再检查不同人工系统在这些工作上分别做到了什么。Newell 在《Unified Theories of Cognition》中给出了这套分解的关键来源：感知、记忆、语言、推理、想象和动机，都可以被理解为人类与机器认知中需要协调的功能部件。[3] 值得注意的是，Newell 的原始清单只有这六项；本文作者额外加入了第七项——元认知，理由是它在调节其他所有认知功能时具有关键作用。随后，Laird 与 Newell 将这份清单实现为 Soar 认知架构：一个递归的 State–Operator–Result（S-O-R）循环——系统表征当前状态，选择并应用算子，再得到一个新状态，写作 R＝frules(Sₜ, Oₜ)，其中 R 就是 Sₜ₊₁。[6] 论文把它和今天世界模型的标准写法并置：zₜ₊₁＝Wθ(zₜ, aₜ)。状态对应状态，算子对应动作，规则函数对应学到的转移模型——这个式子不只是一个神经网络公式，也是一个认知循环的现代写法。Soar 的产生式规则作用于一个共享的工作记忆，这又恰与为人类认知提出的全局工作空间理论遥相呼应。图2：本文分类框架的三项理论来源。Newell 的功能分解提供坐标；Soar 将状态、操作和结果写成循环；GWT 提供全局可访问与元认知的视角。（图源：笔者自行可视化，依据论文及相关文献整理。）Global Workspace Theory（GWT）补充的是另一层问题：信息能否在不同认知成分之间被共享和访问。Baars 用“剧场”作类比：记忆、语言、感官处理等成分像舞台上的演员与道具，幕后还有一位导演在排练中给出反馈；注意的“聚光灯”在成分之间移动，一次只照亮一处，但即便不在聚光灯下，剧院的所有组件依然在场并相互作用。[5] 论文借此讨论元认知，但并没有把“全局可访问”直接等同于元认知：只有当系统能利用这些共享信息去反思、评价或控制自己的表征、推理和决策时，才算跨过了元认知的门槛。语言在这一框架中的位置也值得单独一提。论文回顾了从“语言是影响外部世界的工具”到“语言演化自人类共享意图的能力”的谱系，并引用 Deacon 与 Jaynes 的论断——“符号思维并非先天内置，而是通过内化语言背后的符号过程发展起来的”“意识嵌入在语言之中”。作者由此断言语言的作用至关重要（paramount）：人类语言始终指向一个由交谈各方共享的世界模型。作者明确承认，认知架构并不只有一种合法的功能划分：ACT-R 使用贝叶斯式的激活机制，ICARUS 强调层级化的技能与概念，EPIC 关注感知—动作的时间约束，Active Inference 则以生成模型和自由能目标组织认知。选择 Newell 的分解，并不表示它是关于认知的最终答案；它的价值在于，Newell 的功能清单同时贯穿早期与当代的机器认知研究，因而能把视频、具身和 Agent 系统放进同一坐标中比较。同样重要的是“功能类比”与“机制等同”的区分。论文说得很直白：机器认知是在功能上模拟（functionally emulates）人类认知的组件，而不是在机制上复制它们。“当我们说一个世界模型有‘记忆’时，我们的意思是它在时间步之间维持了状态表征，而不是说它拥有任何类似情景回忆或人类记忆生物基础的东西。”一个模型可以被归入“记忆”，因为它维持了跨时间一致的潜状态，这并不意味着它有人的情景记忆；一个 Agent 可以在语言工作空间中反复生成、评审和修改假设，这也不自动证明它拥有意识。本文要比较的是计算贡献，而不是把人工系统的内部机制拟人化。正是这种克制，让框架的提问方式变得可检验：某个表征是否保留了任务相关变量？某次 rollout 是否真的受行动条件约束？模型能否发现自己的预测不可靠，并据此改变后续的信息获取或行动？
4.1 Video、Embodied 与 Epistemic作者将当代世界模型研究归入三类。Video World Models 围绕视觉时空状态工作：以观测和动作为条件生成或预测未来视觉状态，核心挑战是空间一致性与长时程的时间连贯。Embodied World Models 把问题推进到可干预的物理环境：接触几何的感知、持久环境的记忆、力传播的推理，都成为状态建模的一部分。前两类被统称为 latent world models——它们在学习得到的潜空间中表示和预测世界，涵盖了此前绝大多数世界模型工作。第三类是作者新提出的 Epistemic World Models。这里的“世界”不再是场景或机器人周围的物体，而是由文献、数据库、代码、实验结果、工具输出和人类反馈组成的结构化知识空间：领域专业知识诱导出状态空间，科学产物充当观测，智能体通过推理和工具操作不断更新这个认识状态。前一类路线是对外部环境的“潜压缩”，后一类则是对结构化知识的“显式维护与更新”——两种互补的世界建模策略。图7：本文的三类世界模型。Video 与 Embodied World Models 主要在潜在状态中表示与预测世界；Epistemic World Models 将知识工作空间视为可更新的“世界”。（图源：笔者自行可视化，依据论文整理）论文用一组方程概括视频世界模型：zₜ₊₁＝fθ(zₜ, aₜ)，xₜ＝gφ(zₜ)——潜状态编码场景几何、物体位形、物理因素与时间上下文，视频经由“状态演化加渲染”产生，而不是逐帧直接合成。作者由此强调：Wan、Sora、Kling 这样的系统“并不只是在合成像素”；一个世界模型必须超越视觉上的逼真（visually plausible synthesis），支持持久的状态表征、因果的转移建模、可控的干预和有物理依据的预测。这一区分标志着“从被动的文生视频，走向可交互、可控制、面向智能体的环境”。在这一框架下，视频域的推理被整理为几种范式：自回归因果 rollout（zₜ₊₁＝Wθ(z≤ₜ)），每一步只看过去，因果清晰但误差逐步累积；可提示/动作条件生成（zₜ₊₁＝Wθ(zₜ, aₜ, c)），可以回答“如果这样做会怎样”；双向/掩码生成则对整条轨迹的联合分布建模，全局更优但严格因果性较弱。关于记忆，论文的判断同样适用于此：关键不在于上下文窗口有多长，而在于设计出“在反复 rollout 下仍保持稳定与因果性”的潜状态——Self-Forcing、Causal Forcing、Reward Forcing 等工作，正是在处理训练与生成之间的输入错位（exposure bias）与长程漂移问题。值得注意的是两个“缺席”。其一，语言在视频世界模型中几乎不作为明确贡献出现——Table 3 的语言列近乎空白，正文甚至没有任何一个语言小节。其二，动机虽有个案——如用可验证的牛顿力学奖励对视频扩散模型做后训练，或 Cambrian-S 以预测误差作为“surprise”来驱动记忆更新与事件分割——但论文对后者有一句关键批评：它“falls short of implementing Active Inference’s full exploratory learning objective”，只用像素级预测误差作 surprise 的代理，缺少驱动探索的信息增益项（见 3.5 节）。论文用一句话点明具身域与视频域的本质区别：视频世界模型的成功，在于生成的帧足够逼真、时间上连贯；而具身世界模型的成功，在于它的预测在物理上准确到足以引导一个有质量、有运动学、有接触表面的身体完成任务。因此，感知必须编码接触几何与六自由度位姿，而不只是视觉外观；记忆必须维持跨交互的、空间落地的持久世界模型；推理必须捕捉物理因果与力的传播；想象必须生成物理上可执行的动作条件未来。与视频域相比，语言在具身域有了一席之地：LiDARCrafter 把自由文本转成场景图再生成 LiDAR 序列；DrivingGPT 把图像与动作 token 交错成一种“多模态驾驶语言”，将世界建模与轨迹规划统一为同一个 next-token prediction。推理一侧则呈现更丰富的谱系：VLA 模型（如 π0.5、LingBot-VLA）把推理视为语言条件下的长程规划，擅长反应式控制与指令跟随，但在长程物理推理或反事实模拟时需要外部规划器；World Action Models（如 LingBot-VA、DreamZero）联合建模 (zₜ₊₁, aₜ)，把想象与控制统一在同一生成过程中；几何世界模型（如 PointWorld）直接在点云上预测 scene flow 并配合 MPC 规划，物理意义明确但依赖强几何监督。论文对混合路线的评价颇高：兼具直接动作预测与世界建模的 hybrid VLA-WAM，被称作“如图 3 所示的真正统一世界模型——只缺少内在动机与元认知”。但它也记下一个耐人寻味的反例：Fast-WAM 移除了未来状态的想象能力，推理延迟降到 190ms（比 SOTA 快 4 倍以上）而质量损失很小，作者由此发问——在当前具身场景中，“想象”到底有多重要？对 Epistemic World Models 而言，语言不是单纯的输入输出格式。论文将这类系统的 Global Workspace 定义为由既往 prompts、responses 与 tool-call outputs 构成的语言集合——就像一份不断增长的聊天记录。初始的“世界”是静态的：用户给出的 context 与研究目标；随后，智能体检索文献、运行分析、写入代码、接收人类反馈，每一次交互都更新这个集合，也改变系统下一步能看见什么、能验证什么、能提出什么假设。这正是作者把它称作世界模型的理由：交互创造了一个不断变化的环境，从而形成动态状态空间——这与 Soar 的 S-O-R 循环完美对齐。以 AI Co-Scientist 为例：文献综述、分析引擎、假设生成与辩论智能体围绕一个共享工作空间协作，假设之间通过 Elo 式成对比较排名，critique 与 reflection 循环在湿实验验证之前就对假设进行筛选——生成与判断被分配给不同角色。与潜空间模型相比，这样的状态更可读、更容易审计，也为元认知提供了早期实例。但代价同样明显：状态转移常常分散在 prompts、文档、数据库、检索片段、日志和人工修改之中，“很少像潜空间世界模型那样被清晰地形式化”，可复现性与因果归因都更困难。论文对这类系统的局限同样直言不讳，并归结为三条：状态转移缺乏形式化；动机仍然是外在的——继承自用户指令、benchmark、奖励函数、机构激励或同行评审，而非内在的目标形成；元认知则“仍是脚手架式的，而非自主的”（scaffolded rather than autonomous）——自我评估依赖额外的智能体、外部工具或人类验证者，而它们“可能与生成者共享同样的盲点”。
这篇综述的价值，不在于替世界模型宣布一个封闭的最终定义。它做的是更基础的工作：在视频、具身和 Agent 等技术路线不断扩张时，给出一套可以反复使用的比较语言。用作者在结论中的话说：“Our report provides researchers a vocabulary to debate the merits of equating human and machine cognition.”——在断言机器认知与人类认知可以划等号之前，我们至少应该先能说清楚：哪些功能已被实现，哪些只是近似，哪些仍是愿景。沿着这套语言，论文把“统一世界模型”写成一幅由七条要求组成的路线图：使用多模态输入；编码多尺度的时空表征；让 token 化的语言成为输入、中间推理空间或输出，以支持人类在环协作；数据稀缺时用 sim-to-real 训练、推理时用假设性推理；用与领域匹配的 SOTA 架构进行推理；为世界模型提供内在奖励信号；以及利用全局工作空间实现自我反思、自我评估与自我控制。借助这把认知功能的尺子，我们也可以不再满足于“模型看起来很像”“生成得很逼真”这样的判断，而是继续追问：它把什么编码为世界状态？它保存了哪些过去？它能推演怎样的未来？谁在决定它追求什么？当预测与现实不符时，它能否知道自己错在何处，并据此改变信息获取、推理或行动？这也正是集智俱乐部「世界模型」读书会希望持续讨论的问题。读书会自 2026 年 8 月 7 日起每周五晚 19:30–21:30 进行，围绕“世界如何被表征、其动力学如何被建模、内部模型如何服务于智能体”这条主线，从概念溯源与理论框架，到方法范式与共性问题，再到具身智能、AI Agent、复杂系统等应用场景逐层展开。我们关心的并不只是又出现了哪一个热门模型，而是：当人工智能从语言与屏幕进入机器人、工业现场、生命系统与多主体社会，它究竟需要怎样的内部世界，才能真正预测、行动并修正自己？[1] Rupprecht, T., Zhao, P., Taherin, A., et al. Human Cognition in Machines: A Unified Perspective of World Models. arXiv:2604.16592v2, 2026.[2] Ha, D., & Schmidhuber, J. World Models. arXiv:1803.10122, 2018.[3] Newell, A. Unified Theories of Cognition. Harvard University Press, 1990.[4] Sutton, R. S. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bulletin, 2(4), 160–163, 1991.[5] Baars, B. J. A Cognitive Theory of Consciousness. Cambridge University Press, 1988.[6] Laird, J. E. The Soar Cognitive Architecture. MIT Press, 2012.[7] Friston, K., FitzGerald, T., Rigoli, F., Schwartenbeck, P., & Pezzulo, G. Active Inference and Learning. Neuroscience & Biobehavioral Reviews, 68, 862–879, 2016.
文章精选：
1.图灵奖得主姚期智最新演讲： AI有边界，恰恰是好事
2.图灵奖得主本吉奥警告全网：AI已经学会“演给安全测试看”，下一代我们可能真的抓不住了！3.图灵奖得主萨顿 WAIC 2026 最新演讲：现在的 AI 还不算真智能，我们正迈入经验时代4.菲尔兹奖得主陶哲轩最新访谈：未来数学属于人类与 AI 的混合体5.图灵奖得主、AI教父辛顿：AI已具备意识，且将进化成远超人类的智能生命体6.图灵奖得主、“AI教父”辛顿认错：我当年想得太简单！卡死医疗AI落地的，其实是背后的法律7.图灵奖得主Bengio预言o1无法抵达AGI！Nature权威解读AI智能惊人进化，终极边界就在眼前8.图灵奖得主、强化学习之父Rich Sutton：大语言模型是一个错误的起点9.图灵奖得主杨立昆：大语言模型缺乏对物理世界的理解和推理能力，无法实现人类水平智能10.压缩即是全部 —— 菲尔兹奖得主 Michael Freedman 给数学和 AI 的一封信
转载说明：本文系转载内容，版权归原作者及原出处所有。转载目的在于传递更多行业信息，文章观点仅代表原作者本人，与本平台立场无关。若涉及作品版权问题，请原作者或相关权利人及时与本平台联系，我们将在第一时间核实后移除相关内容。
五度妙笔
企业透视镜
API商城
数据库
在尽量少保留冗余信息的同时，必须让下游任务 T 达到不低于 ρ 的预期回报，即 
，
。这里的下游算子 T 可以是世界转移模型 Wθ、直接策略网络，也可以是模型预测控制器（MPC）。换言之，世界表征要丢弃多少细节，取决于这些细节会不会影响后续的预测、规划和行动。论文特别指出，ρ 这样的阈值由研究者选择——所谓“足够好的表征”，仍然取决于人在系统之外定义的任务。
（Eq. 6）。在这个意义上，“行动选择可以被理解为对时空潜轨迹的推断”。论文把当代系统的推理设计排成一个谱系：一端是 VLA 这样的直接策略网络，用 VLM 骨干加 flow-matching 动作头，把观测直接映射为动作，完全绕过显式的未来状态预测；另一端是只表征世界、另配独立价值或策略模型的 World Action Models——表征与行动生成的分离带来了想象上的最大灵活性，但世界预测的误差与行动选择的误差也会各自独立地累积。
