大湾区大学周鹏、张世尧联合瑞典皇家理工学院刘思超等：机器人操作世界模型——如何从预测未来走向可靠行动？

文章首先从内部前向模型和模型式学习的发展脉络出发，对机器人操作中的世界模型给出操作性定义：世界模型是能够估计外部世界中任务相关要素如何随时间演化，并预测或评估机器人干预后果的学习型或学习-解析混合预测系统。随后，文章从预测表征、预测与动作的连接方式以及预测介入机器人学习流程的阶段三个维度建立统一框架。图







1







展示了世界模型的核心能力与全文组织逻辑。

要设计这样一个系统，首先需要回答：世界模型应该预测什么样的未来？

根据输出的结构化程度与归纳偏置，文章将现有方法归纳为图像与视频、学习型潜在状态、运动场与场景流、三维/四维时空表征，以及物理信息动力学五类。图像和视频直观、易与视觉策略连接，但视觉逼真并不意味着接触正确或动作可执行；潜在状态适合快速推演和策略优化，却较难解释；运动表征突出动作引起的位移变化；三维与四维模型显式处理遮挡、视角变化和时空几何；物理信息模型则通过接触、摩擦、形变与动力学约束提高外推可靠性。不同表征并无绝对优劣，其选择应由任务中的主要不确定性和预测结果的下游用途决定。图



2



总结了五类预测表征及其能力边界。

有了预测结果，接下来必须解决一个问题：预测如何与机器人的动作生成和控制连接？

文章将直接预测-动作接口划分为集成式预测-动作模型与显式预测规划器两类。前者把未来观测或潜在状态建模嵌入策略内部，可减少模块之间的错配，但内部预测较难检查；后者先生成子目标图像、未来轨迹、路点序列或潜在计划，再由独立控制器、


逆模型




或优化器执行，具有更好的可解释性和复用能力，却需要处理预测结果是否可达、模块交接是否稳定以及长时误差是否累积等问题。图




3



展示了两类接口及其主要变体。

除了直接指挥动作，世界模型还能在机器人的学习与决策中扮演更底层的支持角色。

文章进一步归纳出五类功能：生成合成经验以扩展示范覆盖，对候选动作进行筛选与修正，在搜索过程中比较多个想象未来，构建可供策略评估与改进的学习型环境，以及将预测结果转化为奖励、进度、偏好或可行性判断。不同角色也对应不同风险：合成数据可能缺乏动作一致性，候选筛选受限于基础策略的提案范围，反复搜索会增加延迟并放大模型偏差，而策略也可能主动利用学习型模拟器中的幻觉。因此，世界模型作为基础设施时，应以真实闭环策略收益与可靠性为核心，而不能只依据生成画面的视觉质量进行评价。图



4



概括了这五类基础设施角色。

同一套预测能力还会在机器人学习生命周期的不同阶段承担不同任务。

在预训练阶段，世界模型通过下一步预测、动作条件


视频预测




、逆动力学以及三维/四维重建等目标，学习可跨任务复用的视觉、几何和动力学先验；在后训练阶段，它可生成补充数据、恢复伪动作、提供想象环境、构造奖励或偏好信号，并过滤不可靠轨迹；在推理阶段，预测则需要在严格的实时约束下支持搜索、候选重排序、测试时训练、记忆更新、进度预测和自我纠错。由于使用阶段不同，评测重点也应分别落在迁移与动作对齐、想象经验能否改善真实策略，以及在线成功率、计算延迟和置信度校准上。图




5



展示了世界模型在预训练、后训练和推理阶段的作用。

在数据与评测方面，文章整理了







38







个代表性机器人操作数据资源，呈现出从早期动作条件视频预测，向跨任务、跨本体、多视角、多模态和自主采集真实交互数据发展的趋势。

文章同时将评测划分为直接预测保真度、下游任务表现和学习型模拟器可靠性三个层级。图像质量评价指标（如像素对比、结构相似度等）可以衡量图像或视频质量，




却无法判断接触是否正确、物体运动是否符合指定动作，或预测轨迹能否由机器人真正执行。因此，未来评测还需要关注接触时刻与区域、几何一致性、动作对齐、任务成功率、策略排序、


模型“凭空想象”出不合理结果的概率（即幻觉率）


与长时推演误差。文章指出，世界模型更适合长时序、接触丰富、动作不可逆、反馈稀疏或真实交互昂贵的任务；对于短时反应控制或解析模型已经足够可靠的场景，则应优先采用能够解决主要瓶颈的轻量预测机制，并通过真实闭环执行验证其价值。