五度妙笔
企业透视镜
API商城
数据库李飞飞：AI的下一个前沿不是聊天，是“让机器人看见空间”
AI 的下一个前沿是什么？李飞飞给出的答案是——空间智能。
在最近一期 a16z 的访谈中，ImageNet缔造者、World Labs 的创始人兼 CEO 李飞飞和主持人马丁·卡萨多、SceniX 联合创始人李昀竹一起聊了聊：为什么 AI 不能只停留在处理文字和图片，必须学会理解三维世界。
说白了，现在的 AI 再强大，也不懂物理世界的基本规则——不知道杯子掉下桌子会碎，不知道抓一个东西该用多大的力气。而李飞飞她们正在做的，就是给 AI 装上“空间感”，让它能看懂、能推理、能在三维空间里行动。
最近她们干了一件大事：收购了李昀竹的机器人公司 SceniX，把“空间智能”和“机器人”这两件事彻底连起来了。本次访谈聊了为什么合并、仿真训练靠不靠谱、人形机器人是不是被吹过头了，以及两年后他们想把这事做成什么样。
本文编译a16z最新一期博客内容https://www.youtube.com/watch?v=-tabaM5l3s0，以下是完整编译。
为什么要收购 SceniX：机器人卡在“数据荒”上了
马丁·卡萨多： 今天很高兴请到两位。李飞飞，先给不了解 World Labs 的听众介绍一下，你们到底在做什么？
李飞飞： World Labs 是一家成立两年的初创公司。我们要做的是 AI 的下一个前沿——我们称之为空间智能。空间智能就是让 AI 具备理解、生成、推理并与空间交互的能力，无论是物理空间还是虚拟空间。而实现空间智能的一个重要路径，就是构建大型世界模型，这也是 World Labs 目前最核心的工作。
马丁·卡萨多： 你从一开始就在讲机器感知和推理空间、并在其中行动的能力。但我一直以为“在其中行动”是很远期的事，现在你们收购了一家机器人公司，是不是说明这个时间表提前了？
李飞飞： 首先，“在空间中行动”不只有机器人一种方式，创意领域比如VFX、游戏、设计，都是在虚拟空间里交互。World Labs 一直认为，我们生活的世界可以是多元宇宙，我们创造技术让开发者和建设者能在不同空间里行动。但话说回来，在物理空间中行动的能力，是未来AI最令人兴奋也最重要的能力之一，机器人正是其中的核心。所以，收购 SceniX 是我们长期愿景的一部分，我们一直相信机器人是空间智能和世界模型的关键应用场景。
马丁·卡萨多： 李昀竹，你也介绍一下自己和 SceniX 吧。
李昀竹： 我是李昀竹，SceniX 联合创始人，也是哥伦比亚大学助理教授。我的研究从 MIT 博士开始，后来在斯坦福跟李飞飞做过博士后。我的目标一直很简单：让机器人在真实物理环境里真正工作起来。
SceniX 看到的核心问题是，通用机器人当前面临两个关键瓶颈——训练和评估。所以我们在开发一套“真实-仿真-真实”的管线，把真实环境高保真地映射到数字世界，让数字世界里发生的事尽可能在现实中也发生。这样我们就能用数字世界中海量生成的数据，替代现实世界中昂贵、稀缺的数据。我们组建了一支在机器人、机器人学习、仿真和渲染方面很强的团队，就是要攻克这些瓶颈。
马丁·卡萨多： 听说你们俩之前还合作过？
李飞飞： 有个挺有意思的故事。大家可能以为，因为李昀竹以前是我的博士后，我们肯定早就计划合并了。其实不是。真正的契机是，去年冬天我们发布了第一版生成模型 Marble 之后，SceniX 是作为客户来注册使用的。我当时一看，才发现原来是李昀竹的公司。我给他打电话，一聊才发现双方在技术和方向上的协同非常强。
马丁·卡萨多： 李飞飞，你顺便介绍一下 Marble 吧。
李飞飞： Marble 是 World Labs 一直在训练的基础模型代号。它目前的核心能力是：你给它一个提示，可以是文本，也可以是一张或几张图片，它就能生成一个几何上自洽的3D世界，可以用高斯泼溅或网格等形式表示。而李昀竹他们要解决的是机器人领域一个极其困难的问题——数据不足。训练数据不够，评估数据也不够。这和语言模型完全不一样，语言模型能从互联网获得海量文本数据。但如果机器人要发展，我们必须想办法把规模法则引入机器人领域，问题就在于：数据从哪里来？这是整个行业都在面对的难题。
马丁·卡萨多： 两边的人才互补性怎么样？
李飞飞： 简短的回答是：高度互补，使命一致。SceniX 的三位技术联合创始人非常出色。除了李昀竹在机器人全栈上的能力，还有庄佳（Changxi Zheng），另一位哥伦比亚教授，在仿真领域是世界级的技术专家，还在Weta和腾讯工作过；还有Sunny，一位非常资深的工程负责人，他之前的公司被亚马逊收购，在计算机视觉和大规模技术栈上经验丰富。World Labs 在生成模型、计算机视觉、3D重建方面很强，这正好是 SceniX 需要的；而 SceniX 在机器人全栈和仿真上的能力，正是 World Labs 之前缺少的。两边合在一起，整个技术版图更完整了。
马丁·卡萨多： 李昀竹，从你的角度，为什么决定加入 World Labs？
李昀竹： 一开始我们也想过独立做下去。但和李飞飞深入聊了之后，看到中间这么多协同效应，强强联合是非常自然的选择。SceniX 做的 real-to-sim-to-real，本质上是环境重建：要重建外观、几何，还要重建动力学——也就是施加动作后环境会怎么变化。目前这种重建的成本较高。而 World Labs 在稀疏重建和生成式建模上有很强的能力，比如 Marble。我们可以利用这些能力，可以把环境建模做得更高效、更可扩展。
机器人基础模型长什么样
马丁·卡萨多： World Labs 会做机器人基础模型吗？
李飞飞： World Labs 本身就在构建基础模型，而且是多模态的。一个机器人领域的基础模型，很可能需要包含动作作为输入和输出。它既要能预测在特定动作下环境如何变化，也要能根据目标输出相应的动作。这样的全能模型可以为机器人社区提供很大价值，既可以作为环境建模的骨干，也可以作为执行策略的骨干，再针对具体应用微调，满足客户对可靠性和效率的要求。
李昀竹： 机器人基础模型一定是多模态的，要同时处理视频帧、文本、图像、深度等多种输入，而动作是其中极其重要的模态。如果把“状态+动作”作为输入，模型就像前向模拟器，预测环境在动作下会怎么变化；如果把“动作”作为输出，它就更像策略模型：给定目标，决定在现实环境里该采取什么动作。这种全模态模型对机器人领域价值非常大，既能帮助理解环境，也能帮助在环境中行动，还能作为底座进一步微调。
马丁·卡萨多： 很多机器人公司走的是视频模型路线，你们这套3D+仿真的路线和它最大的区别是什么？
李昀竹： 核心在于一致性。机器人需要一个结构化的世界来学习，而这个世界的关键要求就是一致性——空间上、时间上、视角变化下、交互方式上都保持一致。很多视频预测模型会出现物体“凭空消失”这类违反物理的情况，机器人无法从中学到正确的行为信号。而 Marble 生成的世界正提供了这种一致性基础。
当然，视频模型也在进步。我们认为更合理的路径是把这些能力纳入一个完整的数据飞轮：从仿真驱动的模型，到执行真实任务的策略模型，再把真实数据反馈回来，让整个系统持续变强。这个系统不一定是纯物理或纯学习，而是在两者之间找到平衡：既抓住问题的核心结构，又能随数据积累不断扩展。
马丁·卡萨多： 李昀竹，你的核心目标是什么？
李昀竹： 很简单：让机器人在真实环境里真正工作起来。在斯坦福跟李飞飞合作时，我们做过调研，收集了上千个大众想请机器人帮忙的任务，其中三分之一都和清洁有关。大家就是不想做脏活累活。我关心的就是怎么把机器人带进这些现实、有需求的场景。
李飞飞： 我很欣赏 SceniX 的务实精神。虽然他们很多人来自学术界，但做机器人的第一反应是先找设计伙伴、找真实客户，进入产业实验室、仓储、电子装配。这种贴近实际需求的做法让我很兴奋。
仿真不需要“完美”
马丁·卡萨多： 创意场景允许“不精确”，但机器人要求很精确。这个矛盾怎么处理？
李昀竹： 机器人确实比创意应用更需要正确性，但仿真不一定要“绝对完美”。很多机器人系统历史上就依赖模型——飞机、无人机、扫地机器人、四足机器人、双足机器人，它们能从仿真迁移到现实，不是因为仿真完美还原了每个细节，而是因为抓住了问题最关键的结构，再通过系统性的随机化来提高鲁棒性。我们真正要回答的是：对大规模真实世界，需要多高的保真度才能让数字世界里训练出来的机器人成功迁移回现实？
马丁·卡萨多： 有研究者说仿真终究会偏离现实，真实数据才是根本。你们怎么看？
李昀竹： 这两者不矛盾。仿真本质上是预测环境在动作下如何变化，它是一种世界模型，不一定是纯物理的，也可以是物理和学习的结合。我们会采集真实数据，也一定会用真实数据，只是在不同阶段侧重点不同。初期更依赖物理仿真保证结构和一致性，随着数据积累和客户合作，逐步引入更多基于学习的建模。真正重要的是如何把物理、几何、一致性和数据、算力、学习能力结合起来。
李飞飞： 我想从哲学角度补充：仿真和真实数据不是二选一。人类本身就在大脑里做“仿真”，这叫反事实推理——推演那些尚未发生或不可能发生的事，并从中学习。这在机器人领域尤其重要，因为我们永远不可能有足够的真实数据覆盖所有情况。自动驾驶就是例子，Waymo 公开说过用了数十亿小时仿真，仿真数据远超真实路测。连汽车这种“最简单”的机器人都如此依赖仿真，可见仿真在机器人学习中的巨大作用。
李昀竹： 我再具体说两点：仿真能带来可靠性和效率。可靠性方面，机器人要在真实环境中稳定工作，必须覆盖足够丰富的状态空间和变化。仿真可以系统性地控制光照、摩擦、几何、物理参数等各种变量，让机器人覆盖更多场景，变得更鲁棒。
效率方面，遥操作采集数据的速度比人亲自做任务还慢，但很多客户想要的是比人更快。真实世界里不能简单让机器人加速，因为重力不会配合。而在仿真里可以系统性加速行为过程，同时让模型学习速度变化带来的环境动态影响。这些是仿真能直接帮助客户的地方。
马丁·卡萨多： 客户具体怎么用你们的平台？
李昀竹： 主要是训练和评估。评估经常被低估。你训练出模型后必须知道它表现如何——是95%还是99.9%的成功率？这是迭代的依据。如果在真实环境里测，速度慢、成本高、有安全风险，迭代速度比语言模型慢好几个数量级。但如果我们有一个和真实环境高度对齐的数字世界，客户就可以在仿真里更快、更安全、大规模地做评估。只要仿真结果和现实结果高度相关，客户就能放心地根据仿真反馈来迭代。
训练也一样。真实环境采集数据不仅慢，还受限于机器人数量、设备数量和人工。在仿真里一切可控、可系统化，你甚至能明确知道自己覆盖了哪些分布和场景，从而建立更强信心：在这些分布内，机器人就是会工作。
李飞飞： 甚至在合并之前，Marble 就已经收到很多机器人公司的咨询，只是我们当时还无法服务这些客户。从早期模型开发到下游实际用例，需求确实存在。
马丁·卡萨多： 外界一听你们进入机器人领域，可能会以为你们要自己造硬件、造机器人大脑。但实际上不是。能说清楚你们在机器人生态里的角色吗？
李昀竹： 我们做的不是“直接造一个机器人”，而是构建一套基础设施——一套让别人构建数字世界、训练机器人、评估机器人的基础设施。这套基础设施天然是与具体机器人形态无关的。客户有用单臂、双臂、固定臂、移动操作平台、不同类型夹爪的，我们的平台可以把这些不同形态的机器人接入到数字世界里训练和评估。我们同样不绑定某一种模型路线，无论客户是从零训练还是对现有模型做后训练，我们都能提供环境、数据和评估。对我们来说，最重要的是让机器人最终能在现实世界里可靠、高效地完成任务。
马丁·卡萨多： 你说过外界对人形机器人的预测有些激进。具体怎么看？
李昀竹： 机器人的落地通常遵循一条清晰路径：从全结构化环境（如工厂）到半结构化环境（如仓库、餐厅），再到非结构化环境（如家庭）。全结构化环境里你对配置有完全控制，这类自动化已经做了几十年。半结构化环境你能控制一部分条件，但还有很多物体不在你掌控中。最难的当然是家庭这类非结构化环境，那才是真正的挑战。更现实的路线是先把半结构化环境做好，再逐步走向非结构化，这样更稳、更可持续。
李飞飞： 人形机器人还有一点容易被忽略：人类身体长成现在这样，是进化为了适应非结构化环境。我们的身体很通用，但不代表对每个任务都是最优解。如果场景足够明确、足够窄，更专用的形态反而更有效。从商业和技术实现角度看，“通用身体+非结构化环境”其实是最难的问题，不一定是最合理的起点。SceniX 的挑战在于让基础设施适配不同形态、不同半结构化环境。
离“像人一样高效”还有多远？
马丁·卡萨多： 语言模型能比人更快更便宜地产出文字和代码，但人本身在三维空间里行动和抓取已经很高效了。我们能在可预见未来造出能效接近人的机器人吗？五年？还是永远不可能？
李昀竹： 我认为会需要非常长的时间。现实中的机器人永远是一个系统——硬件、软件、算法、手指摩擦系数都得精心设计，需要大量迭代。但我也必须说，机器人学习的发展速度往往比我预期更快，我今天研究的问题和博士刚开始时完全不一样，整个生态系统确实在快速前进，只是我们需要对时间表保持克制和校准。
李飞飞： 今天的AI最难的事之一就是保持“审慎的乐观”。连语言模型都远达不到人脑的能效（人脑才30瓦），机器人领域更是差得远。而且语言模型再强，我们也不会完全放心让它直接订机票、订酒店，总要有人复核输出。但机器人不一样，一旦部署到现实环境，必须开箱即用地可靠。今天我们连支持这种可靠性的基础设施和数据体系都不充分。所以，能构建可扩展的数字世界让机器人在里面训练和评估，意义非常大——它能替代掉很多现实世界里昂贵、不安全、低效率的数据流程。
马丁·卡萨多： 很多公司整合时会面临“快速整合”还是“保持独立走长期路线”的选择。你们怎么想？
李飞飞： 我们会很认真地做，但不着急。SceniX 已经有一套思路清晰、相对完整的技术栈，也有自己的客户和产品方向。我们不会急着从代码库到组织全部混在一起。我们会从仿真和潜在的动作条件基础模型方向逐步协作——事实上他们已经在把 Marble 当成内部客户来使用了。整合会发生，但不是那种一下子把所有东西“拌成一碗沙拉”的方式。
马丁·卡萨多： SceniX 在地理上会怎么安排？
李飞飞： 李昀竹会搬到旧金山。World Labs 将正式成为“双海岸”公司，总部在旧金山，同时在纽约设办公室吸引东海岸人才。我们会在两地都搭建机器人测试环境，以便远程开发工程栈，这也是服务客户的需要。
马丁·卡萨多： 具体描绘一下：两年后成功的 World Labs 是什么样子？
李飞飞： 我们期望的是 SceniX 团队和 World Labs 团队能在少数几个关键的垂直行业里拥有经过验证的客户。我们的系统和基础设施能切实解决他们的自动化需求。这些客户会成为我们的“灯塔案例”，帮助我们把业务规模化。
马丁·卡萨多： 如果现在有机器人公司在听，应该在什么阶段联系你们？
李昀竹： 我们现在的客户有只需要“真实-仿真”部分做评估的，也有需要完整管线训练策略的。我们的平台很灵活，会根据客户需求定制。目前合作的客户都非常接近部署阶段，他们有非常实际的任务，一旦有了机器人方案就能立刻创造价值，而且这样的场景不是一两个，是几十上百个。
李飞飞： 我想说得非常明确：如果你是机器人公司，无论太早还是太晚，都可以联系 World Labs。我们想了解你们的真实场景和需求。
马丁·卡萨多： 太好了。听众朋友们，如果你们在做机器人项目，请联系 World Labs。
李飞飞 & 李昀竹： 是的，我们开门做生意。
马丁·卡萨多： 非常感谢两位！
李飞飞 & 李昀竹： 谢谢！
