诺亦腾机器人对谈源策未来:具身智能到底需要什么样的数据?需要多少数据?

具身智能今年这么火,最火的却是数据公司,所有人都想要数据。
过去一年,行业对数据规模的需求,从几千小时迅速上升到几十万乃至上百万小时。不少机器人公司开始自建数据工厂,人体视频、遥操作轨迹和合成数据也被不断加入训练集。但随着数据量增长,大家发现,机器人缺的可能并不只是「更多数据」,而是能够描述真实物理交互、可以跨本体迁移,也能被模型有效学习的数据。
在 AGI Playground 2026 的一场对谈中,极客公园记者 Li Yuan 对谈了 Noitom Robotics 创始人兼 CEO 戴若犁和 Archon Robotics 联合创始人兼 CEO 李天羽,从数据供给方与数据使用方两个位置,讨论了机器人数据真正的瓶颈。
戴若犁从事动作捕捉 15 年,2025 年成立 Noitom Robotics,专注为机器人与具身智能提供数据基础设施。团队目前以 ModalityNet 数据平台为载体,建设有 OM、MOV 与 ITW+三类以人为中心的多模态数据集,它们直接记录人在真实环境中的交互,需求方可通过映射、重定向或强化学习对齐不同机器人形态,而非依赖传统遥操作。。
李天羽的 Archon Robotics 是数据使用方之一,目标是训练「全身智能」:让人形机器人同时调用腿、手臂、躯干和重心完成复杂任务。他指出,单纯堆砌数据时长意义有限,真正稀缺的是任务、物体与场景的多样性,以及交互时同步采集的全身姿态、手部动作、视觉和触觉信息。
两人的判断共同指向一个核心矛盾:人体数据易于规模化,却无法替代面向具体本体和任务的真实机器人数据;数据工厂能保证精度与模态完整度,一旦进入开放环境,又必须在成本、精度与完整性之间持续取舍。
以下为对谈内容,经编辑整理。
⬆️关注 Founder Park,最及时最干货的创业分享
我们将通过「AI 产品市集」、内容报道、社群分发等方式,帮你触达早期用户、获得真实反馈,以及建立关键连接。
如果你正在做 AI 相关的事,欢迎和我们聊聊。
数据时长不重要,
多样性更重要
Founder Park:过去两年,具身行业对数据量的要求,已经从几千小时增长到几十万乃至上百万小时。为什么?
戴若犁:早期的思路很直接:先用现成部件组装一台人形机器人,再叠加 VLA 或世界—动作模型,最后根据系统需要补数据。
现在,这条路径开始倒过来。团队会先确定什么数据能提供最完整的信息、是否可以规模化采集,再围绕可用的数据集设计模型,最后围绕模型设计机器人硬件。
例如,轻量化的多摄像头头显可以同时采集第一视角视频、手部姿态和身体姿态,也具备规模化的潜力。行业第一阶段解决的是「让机器人动起来」,接下来要解决的是泛化和高灵巧操作,数据问题因此被推到了最前面。
Founder Park:我们一直说数据是瓶颈,真正的瓶颈只是数据时长不够吗?
李天羽:如果把网络和开源社区里的机器人数据、人类数据全部收集并标注,今天凑出数百万小时并不困难。但我们仍然没有看到真正的机器人智能从这些数据中自然涌现,因为只有时长没有意义。人的日常生活高度重复,大量动作都很简单,信息价值也很低。
一个人每天真正与物理世界进行操作的时间,也许只有两个小时,一生大约能产生四万小时相关数据。但一个人接触的任务、物体和场景始终有限。
真正有意义的不是数据时长,而是任务、物体和场景的多样性。 不是在同一个房间里反复操作同一个物体,而是要覆盖尽可能多的任务、物体和空间。
至于极端情况,今天的机器人能力还很早期,几乎所有不能完成的事情都可以被视为极端情况。更现实的路径,是先尽可能扩大多样性覆盖;覆盖不到的部分,再定义成需要主动采集或生成的 corner case。
戴若犁:如果必须在三件事中排序:数据时长和多样性、模态完整度、单一模态的精度,你会把什么放在第一位?
李天羽:现阶段我会把模态完整度放在第一位。视频和第一视角数据很容易采集,但如果某些信息从一开始就没有记录下来,事后很难从数百万小时视频里补回来。
比如,相机看不到下半身,就无法可靠恢复完整的全身姿态。所以首先要有一套同步采集系统,把触觉、全身姿态、手部姿态和视觉等信息同时保存下来,之后才谈得上规模和多样性。
Founder Park:行业缩小差距的一种方法,是不断增加模态,包括力觉、触觉、音频和深度。但更多模态真的能缩小差距吗?今天的基础模型已经能利用这些额外信号了吗?
戴若犁:人完成交互时从来不只依赖视觉。我不用看,也能伸手拿到胸牌,因为此前的视觉记忆、本体感觉和触觉都在发挥作用。如果我们希望机器人学习同样的交互,训练数据至少也应该保留视觉、触觉,以及准确的手部和身体姿态。
今天的模型还不能充分吸收所有信号,但这不意味着采集阶段可以把它们舍弃。我们不是在适配某一种当下的模型架构,而是在为未来做准备。音频今天也许还用不上,却可能记录了重要的交互事件。只要投入产出比合理,我宁愿现在就保存,也不希望几年后重新采集十万小时数据。
如果一种信息在采集时没有被记录,事后很难从数百万小时视频里补回来。
李天羽:从学习范式看,输入和输出之间必须存在可学习的映射。如果输入的信息不充分,模型就无法给出正确输出。
拿起胸牌这样一个简单动作,背后也可能同时依赖触觉、视觉和长期空间记忆,因为你记得自己刚才把它放在哪里。
单模态基础模型可以学习一些先验,例如从单目图像估计深度,或者从视觉推测接触。未来,部分传感器可能会被模型先验替代。但狭窄的第一视角无法看到画面之外的下半身姿态,单帧图像也无法恢复很长的历史。那些现阶段不能可靠推断的信息,仍然应该在采集时保留下来。
人体数据负责规模,
机器人数据负责最后一公里
Founder Park:如果目标是让数据规模继续增长,人体数据和遥操作产生的真实机器人数据,哪一种更值得投入?
李天羽:以今天的技术,遥操作成千上万甚至上百万台机器人并不现实,因为机器人还无法像人一样自然行动。
如果未来能够通过脑信号直接控制机器人,并让机器人配备足够完整的传感器,也许有机会让大规模遥操作更接近人的自然行动。但这条路径离现实还很远。
对于要解决特定任务的机器人公司,遥操作数据依然是后训练不可缺少的一环。但遥操作人形机器人,需要全身控制器在准确跟随操作者的同时保持平衡,这仍然非常困难。
如果目标是规模化,我仍然会从人体数据开始。人体数据采集设备的成本已经降到了可以大规模制造的水平,理论上可以生产 1 万套,甚至更多,再分发给世界各地的数据采集者。第一优先级是可靠的采集硬件,第二是强大的数据管线。
自然生活会产生海量的重复数据,因此必须用模型筛出高价值的片段。深度估计、手部和身体姿态估计、自动切片与自动描述所消耗的算力,甚至可能超过采集环节的人力成本。
另一条路径是主动引导采集者完成指定任务,但同样需要大量运营和模型资源。所以,人体数据和机器人数据并不是二选一:前者解决预训练的规模和多样性,后者完成面向具体本体、具体任务的后训练。
Founder Park:假设你们各自多出一亿美元,会把它投向更好的硬件、更多模态,还是更多遥操作产生的真实机器人数据?
戴若犁:我会把大部分资金投入专用采集硬件。具身智能数据已经形成足够大的需求,值得拥有从零设计的采集硬件。
如果具体分配这一亿美元,我会给不同模态各投入约 2000 万美元:包括触觉、第一视角视觉、深度与高精度 4D 点云、真值级全身姿态,以及手部姿态与环境重建。
目标是让设备兼顾成本、精度、易用性、低佩戴负担和续航,最好还能为普通人的日常生活提供价值,让人愿意长期佩戴并贡献数据。
李天羽:即使有一亿美元,也不足以覆盖所有数据。如果目标是规模化,我同样会先投入可靠的采集硬件和数据管线。
采集只是第一步。自然生活里有大量重复动作,哪些片段值得进入数据集、如何自动理解并描述数据,都会产生巨大的计算成本。真正的投入不只是「让更多人戴上设备」,还包括如何把采回来的信号变成模型能够学习的材料。
真实环境的数据,
是一个「不可能三角」
Founder Park:无论第一视角数据还是机器人数据,目前大多仍在专门搭建的环境中产生,而不是来自真实的养老院、仓库、工厂或家庭。阻碍行业进入真实部署环境的,究竟是技术、经济性,还是场景准入?
戴若犁:这是一个不可能三角。在非受控环境中规模化采集,往往必须牺牲精度或模态完整度。数据工厂不可能搭建一万种厕所;要学习泛化的清洁能力,最终必须进入真实家庭,但很多传感器在那里又无法使用。
因此,我们需要新的硬件:从依赖墙面基站的 outside-in tracking,转向 inside-out tracking,还要把所有信号统一到同一个时间域和笛卡尔坐标系。目前市面上还没有一套完整的现成方案。
李天羽:非受控、规模化的室内场景仍然有可能获取除 ego 外的外部信息,例如在家中增加第三视角相机或简单传感器。但系统必须让非专业用户也能操作。理想情况下,即使使用者不熟悉智能手机,拿到设备后也能稳定使用。
数据工厂无法预先定义所有场景,但我们可以引导采集者的行为。通过头显、相机理解现场环境,然后通过语音交互建议用户围绕更多物体完成不同任务。这样既能保留真实世界的多样性,也能提高数据效率。
Founder Park:这意味着未来的数据采集设备,不只是被动记录,也会主动决定用户下一步做什么?
李天羽:对。只靠自然生活,数据分布会非常不均衡;只靠任务清单,又会损失真实环境的复杂性。更合理的方式,是让系统理解当前环境,再引导人补足缺少的任务和物体交互。
机器人还没有迎来自己的 GPT-1 时刻
Founder Park:机器人数据的下一次范式变化会是什么?行业距离自己的 GPT-3 时刻还有多久?
李天羽:我甚至不确定机器人是否已经到了 GPT-1 时刻。今天很多方法仍然借用视频生成和语言模型的技术,还没有真正属于机器人的 GPT 式学习范式。
语言模型拥有网页文本,也逐渐形成了可规模化的监督信号。机器人则同时面对视觉、动作、手部与全身姿态、触觉和音频,却缺少一种稳定的监督方式把它们统一起来。
模仿学习依赖动作标签,视频模型优化像素或潜变量,但动作本身又很难解释。加入高密度、复杂的文本描述,可以让多样化数据更容易被理解,但行业仍然缺少一套真正能「吃下」所有数据的方法。
只有先形成足够好的预训练,后续可规模化的强化学习与后训练才有基础。
戴若犁:当我的客户不再主要是教授和研究负责人时,我会认为机器人的 GPT-3 时刻已经到来。
今天,即使产业合作本质上也仍是研究项目,里程碑往往是 CoRL、ICRA 论文,而不是工业级部署或营收。我的粗略判断是,还需要五年以上。
Founder Park:最后一个问题,如果你们明天加入对方的公司,第一件事会做什么?
戴若犁:我会先做数据验证,确定哪一种模态,或者哪些模态的组合,对模型表现最重要。Archon 自己训练模型,能够把这个验证闭环真正跑起来。
李天羽:我会把 Noitom 工厂里的设备全部拿来,尽可能多地采集数据,然后训练我们的模型。


