具身智能走到世界模型这一步，“问题”反而更多了

发布时间：2026-09-05来源：腾讯科技

封面图为AI生成

文｜李海伦

编辑｜徐青阳

具身智能正处在技术路线加速分化的临界点，探索越来越多，新模型、新方法也越来越多。

“谈到具身智能的技术路线，确实有点‘眼花缭乱’”，一位科技领域从业者向腾讯科技表示：“前两年大家还在讲VLA，最近一年又开始频繁讨论世界模型、隐空间这些新方向，也有团队把强化学习、触觉、在线反馈不断加入模型。每家公司都有自己的一套说法，听多了反而更难判断，到底哪条路线更有可能走向未来。”

中国电子学会机器人分会主任委员、香港大学机器人与自动化讲座教授及系主任、新兴技术研究所所长席宁告诉腾讯科技，目前具身的技术路线仍处在“百花齐放”的阶段。不同团队都在尝试各自的方法，哪条路线真正有效，还要经过实践检验；在路线收敛之前，新的思路和方法还会不断出现。

路线的分化还在继续往下延伸。即便都叫“世界模型”，不同团队对它究竟该学什么、解决什么问题，也有不同答案。

美国当地时间9月1日，斯坦福大学教授李飞飞团队发布了全球首个多模态世界模型Atlas，其核心能力围绕“理解和模拟3D世界”展开，希望让模型通过物体的位置、形状、距离和空间关系来理解一个世界。

几个月前，李飞飞写过一篇文章《A Functional Taxonomy of World Models》，梳理对“世界模型”思考。她把世界模型按照功能拆成Renderer（渲染器）、Simulator（模拟器）和Planner（规划器）：有的负责生成看起来真实的世界，有的试图模拟世界怎样运行，还有一些最终要帮助智能体判断下一步应该做什么。目前所有被称为”世界模型”的东西，其实是这个循环在三个不同方向上的投影。

在李飞飞的分类里，这三种能力最终可能走向融合，但今天的世界模型显然还处在多条路径并行探索的阶段。

8月24日，图灵奖得主杨立昆等学者发布论文《LpWM: A Case for Sparse Representations in World Models》，进一步研究世界模型应该怎样在内部表示物理世界。论文提出用稀疏表征（sparse representations）替代此前 LeWM 所采用的稠密表征，使得动作发生后的世界状态变化更容易预测，从而降低规划所需的预测器复杂度。

几天后的8月27日，杨立昆等人又发布了LeVJEPA，将此前LeJEPA的学习方法进一步拓展到视频，继续研究AI怎样从视频里理解世界。它希望用更少的计算量，从大量视频中学会物体怎么运动、环境怎么变化，以及前后状态之间的联系。

从产业公司到李飞飞、杨立昆等前沿研究者，其实行业关注的核心都是正在同一个问题：模型究竟该如何学会理解和表征真实的世界，并进一步把这种理解转化为预测、规划和行动能力。

围绕这个问题，国内具身智能团队也开始给出各自更具体的技术答案，不同团队也在分别从VLA、世界模型、强化学习等方向推进。

“这也是我们做物理原生模型的核心目标：真正去底层理解世界规律，”光象科技创始人兼CEO张涛在近期的一场媒体交流会上表示。

清华系背景的光象科技，最近联合清华大学李升波教授课题组发布了第一代物理原生世界模型 Phi-WM 1.0 ActEffect。这条路线把重点放在物理状态、状态转移和动作影响上，希望模型能够理解世界如何变化，以及机器人动作会带来什么结果，最终指向的是提高机器人的泛化能力。

张涛认为，具身智能接下来真正需要验证的主要是两方面：一个是机器人能否理解物理世界的底层规律，从而在面对新物体、新任务时减少反复试错；另一个则是这种能力能否进入真实场景，解决传统自动化长期难以覆盖的问题，并创造可以量化的生产价值。

在光象实验室首席科学家吕尧看来，物理世界里的“理解”，最终要落实到模型究竟从数据中学到了什么：是继续拟合输入和输出之间的统计关系，还是能够识别出状态如何变化、这些动作为什么会带来不同结果，以及其中哪些信息可以被迁移到新的任务和场景。

“仅靠成功示范做模仿学习，模型之间的差距有限。真正拉开能力上限的，是同一状态下不同动作及其成败结果形成的反事实数据。”吕尧说。

具身行业的数据规模还会继续增长，模型也会继续迭代，但真正拉开差距的，可能会越来越落在“模型到底学会了什么”这件事上。

光象科技创始人兼CEO张涛、光象科技首席科学家吕尧。图片为AI生成

以下为光象科技创始人兼CEO张涛、光象实验室首席科学家吕尧在媒体交流会的精选版实录：

让机器人先搞懂“为什么”

问：光象科技发布物理原生世界模型Phi-WM 1.0，这里所说的“物理原生”，具体是指什么？

吕尧：我们主要有两层理解。

第一，Phi体系从一开始就是面向机器人与真实物理世界交互来设计的。

第二，在模型架构和训练方式上，我们希望从交互数据里学到物理世界真正的原生信息，核心就是客观物理规律，以及动作驱动状态变化的因果关系。

问：目前行业主流仍然是VLA，同时越来越多公司开始做世界模型。光象科技为什么认为需要换一条路线？

吕尧：从我们的判断来看，VLA已经开始触碰一些能力边界。

VLA比较擅长学习输入到动作输出之间的映射，因此在模仿人类示范方面效果很好，但在环境理解和长程任务推理上存在限制。

另外，目前很多VLA前端依赖语言模型，后端再把语言token映射到动作空间，我们认为其中存在比较大的模态鸿沟。

所以，仅靠扩大数据规模训练VLA，要得到真正具有通用泛化能力的机器人策略，我们认为难度很大。这也是为什么越来越多团队开始转向世界模型。

我们理解的世界模型，应该能够在隐空间中表征真实世界状态，并学习这些状态如何转移，尤其要理解机器人动作对状态转移产生的影响。

问：光象科技怎么判断目前以预测为主的具身智能路线？这条路线还有哪些问题需要继续解决？

吕尧：纯视频预测路线并不是没有效果，它能够很好地受益于Scaling Law，数据越多，性能通常越好。

但真正困难的是从99%走向接近100%。如果模型主要依靠统计拟合学习输入和输出之间的映射，缺少物理规律和结构约束，类似大模型“幻觉”的问题就很难彻底解决。

机器人最终要在物理世界里执行动作，对准确性、稳定性和安全性的要求更高。因此，我们认为模型需要学习物理规律和动作因果，真正理解一个动作会怎样改变世界。

张涛：举个简单的例子。把不同重量、不同形状的物体扔进筐里，通过大量训练，模型可能都能学会。但遇到一个从未见过的新物体，如果完全依赖数据拟合，可能还要重新经历很多次尝试。如果模型理解重力、质量、形状等底层规律，面对新物体时，就可能更快适应。这也是我们做物理原生智能的核心目标。

问：为什么你们认为隐空间的状态比直接预测未来视频更适合机器人？为什么要把物理状态拆成显式和隐式两部分？

吕尧：像素空间预测的优势很明显，能够很好地利用视频数据和Scaling Law。但我们认为它存在两个问题：

第一是可靠性。视频生成模型本身存在幻觉问题，而机器人对成功率的要求很高。

第二是推理效率。如果部署时要不断预测未来画面，再根据结果生成动作，整个链路会比较长，不利于工业实时控制。

更重要的是，机器人完成一个具体任务，并不需要完整还原未来世界的所有视觉细节。我们更希望模型提取与任务直接相关的状态信息，在特征空间里学习这些状态如何变化，再用这种状态转移帮助策略生成动作。

在这个基础上，我们又进一步把状态分成显式和隐式两部分。

现在很多方法会把视频、本体状态等不同输入统一编码，再交给神经网络学习。但我们认为，有些物理状态其实已经能够被人类明确描述，比如位置、速度、力、位姿等，它们的变化规律可以通过动力学或运动学来刻画。这部分没有必要再完全依靠神经网络从头学习，可以直接利用已有的物理知识。

而对于图像、三维点云等难以通过明确公式完整描述的信息，再通过神经网络学习其中的状态和变化规律。这就是我们所说的显隐状态解耦表征：能明确建模的部分直接利用物理知识，难以明确建模的部分再交给数据驱动的方法学习。

问：现在也有很多团队在做隐空间世界模型。光象科技的“物理原生世界模型”和它们最大的区别是什么？

吕尧：目前很多隐式世界模型主要解决表征问题，也就是不再重建整个像素空间，而是在隐空间进行动作推理。

对我们来说，隐空间只是其中一个特点。我们更关注的是，能不能在隐空间里提取与任务真正相关的物理信号，进一步学习物理规律，以及动作对未来结果产生的影响。

其中的关键不只是“是不是隐空间”，而是模型在里面学到了什么。

数据再多，也得知道该学什么

问：从物理原生智能角度看，真正决定机器人能力上限的是什么数据？

吕尧：我们认为，一个很关键的数据来源，是机器人在仿真环境中大量试错产生的反事实数据。

如果只是依靠模仿学习拟合成功示范，各家模型之间的差距可能不会特别大。

更重要的是让模型知道，同一个状态下换一个动作，世界会怎样变化，哪些动作会成功，哪些会失败。所以真正稀缺的不只是更多成功示范，而是能够帮助模型完成反事实推理和对比学习的数据。

问：进入物理世界后，Scaling Law是否仍然成立？继续扩大数据规模，还能持续提升机器人的模型能力吗？

吕尧：我认为仍然成立，而且需要坚持。完整描述物理世界需要的数据量，可能比语言的规模还要大。

现在的问题是，整个具身智能行业的数据规模距离这一水平还很远，尤其如果主要依赖真实机器人数据，数量更加有限。所以我们并不反对Scaling Law，也不反对数据驱动。Phi同样是数据驱动的。

我们重新思考的还是相同的问题：随着数据规模增加，模型到底应该从这些数据中学习什么。

问：互联网视频、Ego、UMI、真机数据和仿真数据，在训练中分别承担什么角色？

吕尧：我们比较强调“数据职能”。

互联网视频以及没有动作标注的Ego数据成本低、规模大，可以帮助模型建立最基础的世界先验。有动作标注的Ego、UMI、真机和仿真数据，则进一步帮助模型学习动作和状态变化之间的关系。到了具体机器人构型和任务阶段，我们会加入更多真机遥操作和仿真数据。

其中一个非常关键的阶段，是在仿真中进行大规模反事实采样，让模型看到相同状态下不同动作分别会产生什么结果。最后再到真机和真实场景中进行微调。

问：多种来源的数据混在一起，会不会相互干扰？

吕尧：关键是不能把所有数据简单混在一起，再用相同目标训练。不同数据承担的职能不同。比如互联网视频建立世界先验，动作数据帮助理解状态转移，仿真数据承担反事实探索。我们更关注的是，不同数据能够给模型带来什么能力，以及应该在哪个训练阶段使用。

问：互联网视频没有统一标准和动作标注，实际价值大吗？

吕尧：我们的实际感受是，其实处理难度没有那么高，把质量特别差的数据清洗掉即可。

互联网数据主要用于通用预训练，类似模型的冷启动。但对我们来说，更关键的是中训练和后训练，尤其是动作导致状态变化的反事实校正。

问：所以在你们的训练体系里，仿真数据会占很大比例？

吕尧：至少现阶段，我们认为仿真数据应该占绝对大头。因为学习状态转移，需要大量“同一个状态下，不同动作会产生什么结果”的数据。真实世界很难不断回到相同状态，让机器人反复尝试不同动作，而仿真可以低成本、大规模生成这种数据。

我们判断，这类数据的需求可能是现实成功示范数据的十倍甚至百倍。

问：如果进入一个新的工位或任务，通常需要补充多少真机数据，才能完成模型适配？

张涛：这首先取决于采用什么技术路径。

如果完全依靠真实数据进行拟合，数据量可能需要达到百万级甚至更高。但我们目前不是完全按照这条路线来做。我们的方式是，前期先通过仿真和真机数据完成预训练，让模型具备基础能力，再进入真实机器人和真实场景进行后训练。

按照目前的经验，一个具体任务真正需要补充的真机后训练数据，大概在十几个小时到几十个小时，一般不会超过100小时。通过前面的预训练和仿真学习，可以明显降低后续对真实机器人数据的需求。

问：相比大语言模型，当前具身模型的参数规模普遍小很多，主要受哪些因素限制？

吕尧：目前我们重点解决工业场景中的刚体对象和相关操作，在这个范围内，现有模型规模已经基本够用。另外一个限制是数据。如果没有足够数据把模型“喂饱”，单纯把参数量继续做大没有太大意义。

长期来看，如果未来真正要做理解整个物理世界的通用基础模型，参数规模一定还会继续增加。

学会了，怎么变成机器人的能力

问：Phi世界模型是怎么参与策略训练的？它学到的能力最后又怎么转化成机器人的实际动作？

吕尧：我们的一个关键设计，是把世界模型从“部署时的规划器”变成“训练时的反馈器”。

训练阶段，世界模型会预测不同动作可能产生的结果，用这些结果帮助策略优化。训练完成以后，我们把世界模型对后果的理解蒸馏到策略网络里。

所以真正部署时，不需要再不断预测未来状态，只需要策略模型一次前向计算输出动作。这样既利用了世界模型，也避免它成为部署阶段的额外算力负担。

问：如果机器人构型发生变化，这套模型还能通用吗？

吕尧：理论上这套学习方法是通用的。进入模型以后，我们会先把不同构型和动作维度编码到统一的隐藏空间。显式物理状态则使用标准动力学和运动学描述。不同机器人当然存在差异，但可以通过注入不同系统参数和域随机化，让模型学习更加通用的状态转移规律。

问：Phi-Bot X1从上下料切换到质检等任务，比如进入3C场景，任务更精细、节拍更快，是否需要重新训练一套模型，甚至调整底层训练体系？

吕尧：不论是从工厂还是到3C领域，训练体系不会发生根本变化。

真正需要变化的是针对新的任务精度、执行能力和机器人构型，重新建立对应的数据和仿真资产。主要工作是在新的任务簇、构型和训练资产上，而不是重新设计底层方法。

我们有一个面向X1构型的通用基座模型，已经具备对本体动力学和世界的基础理解。

从一个任务迁移到另一个任务，主要做后训练和上机调试，目前整体周期大约是几周。

模型层面主要微调策略模块，并在真实环境中进行真机强化学习。

问：如果未来通用大模型公司也进入物理AI，光象科技的壁垒在哪里？

吕尧：通用大模型可以成为很好的具身智能底座。但机器人最终需要解决的是怎样准确、高效、安全地和物理世界交互。这里还涉及专门的模型结构、数据体系、训练方法以及本体交互问题。

所以从通用大模型到底层真正可用的具身模型，中间还有很大距离。

什么样的“工位”，才适合具身机器人

问：汽车制造已经是自动化程度很高的行业，光象科技为什么仍然把它作为具身机器人优先落地的场景？

张涛：如果一个任务追求极致效率，而且传统自动化已经能够成熟、稳定、低成本地完成，就没有必要使用具身机器人。

具身机器人真正应该进入的是传统工业自动化和工业AI难以解决的地方。汽车制造经过几十年自动化改造，大量能够自动化的环节已经自动化，但仍然留下了一些长期没有被很好解决的工位，这些场景很适合验证具身智能的价值。

另外，汽车企业对ROI比较敏感，可以很清楚地评价机器人到底有没有价值。汽车工业标准化程度也比较高，一家车厂的某类工位跑通以后，有机会迁移到其他车厂的类似工位，这对未来规模化比较重要。

问：光象科技选择工业场景时，最看重哪些条件？什么样的场景你们会判断不适合用具身智能？

张涛：这里有三个方向：

首先要看具身智能能不能真正发挥技术价值。比如简单搬箱子，市场上已经有便宜、成熟的自动化方案，再用一台昂贵的具身机器人完成同样任务，我们认为价值不高。

第二必须是真实需求，不是为了演示去做。所谓真实，是场景方自己认可这件事，并且能够从经济价值、质量价值或者社会价值上获得实际增益，我们才会投入。

第三，这个场景还要具备规模化潜力。不能只解决某一个非常特殊、无法复制的工位问题，最终还是要考虑这套能力能不能继续推广。

所以综合这些条件，我们对场景设置的门槛其实比较高。目前没有追求把场景铺得特别广，而是先集中在真正能够体现具身智能价值、同时又有实际需求和规模化空间的场景里。

问：在真实产线上，你们怎么判断一个工位最终应该由机器人替代人工，还是保持人机协同？

张涛：不同工位的情况差异很大。比如冲压、焊接等场景。目前很多还是人与自动化设备共同完成生产，但这类环境往往存在高温、灼伤、有毒有害等风险，而且人的工作节奏和自动化设备也很难完全一致。

对于这类场景，我们部署具身智能机器人的目标比较明确，就是逐步替代其中的人工环节，最终向无人化发展。

另外一类是装配、总装等场景。目前这些工位还有大量复杂任务，现有技术短期内很难一次性全部替代人工，所以在相当一段时间里，人机协同会是更现实的方式。

这种情况下，机器人首先要保证自己的任务能够稳定完成，同时不能影响上下游其他工位的生产，还要确保人员和设备安全。

所以我们在Phi-Bot X1的设计里，也强化了协同安全能力，包括本体多重感知、机械臂力反馈等，同时会和场景方一起增加现场安全措施，通过多重安全冗余保证机器人真正进入产线以后能够安全运行。

先把商业化的“1”建立起来

问：行业里有一种判断，未来机器人本体可能只是入口，真正持续赚钱的会是模型、API和技能订阅。光象科技怎么看这种商业模式？

张涛：这个方向我们不否认，至少在现阶段，这套商业模式还很难直接成立。

客户还没有充分看到机器人到底能解决什么问题，这时候直接让他为模型、技能或者API付费，很难建立信任。

第一步还是要把机器人真正部署出去，解决一个具体问题，让客户认可它的价值。之后再不断增加新的能力，客户为新增能力继续付费，这种商业模式才可能成立。

我们现在和一些客户已经在按照类似方式合作：第一阶段先完成约定功能，后面再逐步增加新能力。现在最重要的是先把前面的那个“1”建立起来。

问：小鹏、蔚来等车企也在发展机器人，而且天然拥有汽车制造场景。光象科技怎么看与这些公司的关系？

张涛：我们虽然是一家初创公司，但我们认为自己的技术路径和商业路径有独立价值。

如果一台机器人最终只能用于一家车企自己的几条产线，这件事的商业价值其实有限。我们判断，这些企业最终还是希望把机器人做成通用化产品，进入更大的市场，甚至未来走向家庭。

光象科技从一开始更强调生产力价值，关注机器人能不能真正提高生产效率和质量。所以大家的出发点和商业路径并不完全一样。

问：未来一两年，如果具身智能迟迟没有跑出真正可规模化的商业应用，行业会不会迎来一轮明显降温？

张涛：我觉得这件事是动态变化的。

如果未来一两年行业基本维持现在的状态，既没有新的技术突破，也没有真正跑通的商业模式，那么出现一轮寒冬，或者说行业明显降温，确实是有可能的。

但反过来，如果这个过程中出现一个真正被验证、能够创造明确商业价值，同时具备规模化复制潜力的应用场景，就可能成为推动整个行业继续向前的一把火。

这个应用未必已经实现非常大规模的部署，关键是市场能够确认两件事：

第一，这件事确实能够创造价值；第二，它不是只能做一个项目，而是有机会规模化复制。

一旦这两点被验证，行业的预期和投入逻辑都会发生变化。

问：从模型训练走到真实产线，这条路线目前最大的工程难点是什么？

吕尧：一个关键问题是仿真资产。物理原生世界模型比较依赖在仿真环境中进行大规模反事实动作对比学习，所以仿真环境本身必须足够可信。

我们在场景建模和三维资产重建方面已经有一些积累，可以比较快地建立训练需要的仿真资产并生成反事实数据。

问：接下来光象科技最重要的战略重点是什么？到今年年底，外界最有可能看到哪些进展？

张涛：模型层面，Phi-WM 1.0之后还会继续快速迭代。下一步更重要的是把模型放到真实环境里，验证更复杂、更长程的任务。长期来看，我们希望它能够逐步发展成一个通用基础模型。

与此同时，我们不会把模型研发和商业落地分开。技术最终还是要进入真实场景，解决实际问题；在部署过程中产生的数据和反馈，又会反过来推动模型继续迭代。我们希望把这套闭环真正跑起来。

具体到今年年底，模型方面大家可能还会看到新的版本。商业化的具体数字现在还不方便披露，但目前Phi-Bot X1已经在多家汽车制造工厂的真实产线上进入部署收尾阶段。

我们希望到2026年年底，能够看到这些机器人真正进入产线运行，并呈现实际部署效果。