Science Robotics | 英伟达团队给宇树人形机器人喂1亿帧动捕数据会发生什么？

导语：大语言模型已经证明了“规模”的魔力——在2.5万块GPU上训练万亿token，涌现出惊人的泛化能力。但人形机器人控制领域，至今没有尝到规模化带来的甜头。当前最先进的人形机器人控制策略，往往是一个三层MLP，在几块GPU上训练，针对单一任务反复调参。来自英伟达与CMU等机构的研究团队在《Science Robotics》上抛出了一个重要答案：将运动追踪定义为可扩展的基础任务，用1亿帧动捕数据、4200万参数、2.1万GPU小时，训练出一个能泛化到未知动作、能与VLA模型无缝对接的通用人形机器人全身控制器——SONIC。这一框架不仅验证了人形机器人控制的规模化定律，更展示了一条从“遥控操作”到“自主操作”的完整技术路径。

一、为什么人形机器人控制迟迟没有规模化？

大语言模型的成功有清晰的三大支柱：自监督任务（预测下一个token）、海量数据（万亿token）、大规模算力（数万块GPU）。三者共同作用，规模效应带来能力跃迁。

反观人形机器人控制，现状是另一种光景。最先进的控制策略通常是一个三层MLP，在单一任务的仿真环境中用几块GPU训练。每项新能力都需要重新设计奖励函数——往前走和跳个舞，需要完全不同的奖励项。这样的技术路线从根本上限制了可扩展性。

对比生成模仿方法（如AMP、ASE和CALM），它们通过将运动分布与简单任务奖励结合，提供了更统一的目标。但已有研究表明，这类基于判别器的方法在运动数据集规模和多样性增大时，更容易出现模态崩溃——判别器要在日益丰富的数据分布中区分真实和生成的运动，任务越来越难，反馈越来越弱，训练越来越不稳定。

SONIC的核心洞见是：运动追踪可以成为一个可扩展的基础任务。每个训练帧都提供明确的目标姿态作为密集监督信号。人类动作数据本身经过数十年的研究积累，涵盖步行、跑步、舞蹈、格斗、物体操作等大量行为，而且数据量足以支撑大规模训练。

这不是一条全新的路——运动追踪已经有很多研究。但此前的工作大多局限于在训练数据上展示追踪能力，从未将运动追踪真正“规模化”，也从未展示它如何支撑多样化的下游应用。

二、SONIC的规模化三轴：数据、模型、算力

SONIC的规模化体现在三个维度上，每个维度都给出了清晰的实验证据。

数据轴：从2000万帧到1亿帧（对应2万个到31.7万个动作片段），共611小时的训练数据，涵盖8447个独特的动作子类别。实验显示，随着数据量增加，对未见动作内容（Out-of-Distribution，OOD）和已知动作类型的新表现（test-repeat）的成功率都在稳步提升。

模型轴：从120万参数扩展到1600万再到4200万参数。最大模型在OOD测试集上实现了99.6%的成功率和23.8mm的MPJPE-L（局部每关节位置平均误差），最小模型（120万参数）则为98.0%的成功率和27.7mm的误差。提升在OOD动作上最为显著——规模越大的模型，越能泛化到从没见过的动作。

算力轴：从2000 GPU小时到9000再到21000 GPU小时。更多的GPU带来更大的批次规模，优化更稳定，渐进性能更好。全部训练在128个GPU上，7天完成。

三轴缩放都带来了持续的性能提升。这一现象与专门任务的控制器形成鲜明对比——后者的性能往往在几块GPU之后就趋于饱和。

三、与最强基线的全面对比

为了证明SONIC的领先性，研究团队在模拟中与三个最先进的运动追踪器做了系统对比：GMT、Any2Track和BeyondMimic。

在OOD测试集（7016个训练中完全缺失的动作子类别）上，SONIC的成功率达到98.5%，BeyondMimic为82.0%，Any2Track为61.6%。在外部公开数据集PHUMA（68226条来自不同重定向管道的动作）上，SONIC为97.2%，而Any2Track为78.5%，BeyondMimic为73.8%。在跟踪精度上，SONIC的MPJPE-L为23.7mm，比BeyondMimic的40.9mm降低了42%。

更值得关注的是与专业控制器的对比。OpenHomie是一个为速度跟踪专门优化的人形机器人控制器，在上半身逆运动学控制和下半身速度追踪方面做了大量专门设计。SONIC作为通用策略，在同一速度跟踪任务上的存活率达到98.5%，而OpenHomie只有43.0%。尤其在速度超过2m/s后，OpenHomie的存活率暴跌至20%以下，而SONIC在高达4m/s的速度下仍几乎保持100%的稳定。

一个通用策略不仅学会了专业控制器的任务，而且做得更好。这就是数据多样性和规模化的力量。

四、通用令牌空间：让异构运动源“说同一种语言”

SONIC的核心技术创新之一，是设计了一个统一量化表示，将三种异构的运动指令类型——机器人运动、人体运动（SMPL格式）和混合运动（上半身关键点+下半身机器人动作）——映射到同一个潜在空间。

这一设计解决了人形机器人控制中的一个核心难题：如何将来自不同来源的运动指令统一转换为机器人能执行的命令。

具体实现上，三个专用编码器分别编码不同类型的运动输入，编码后的潜在表示被量化为通用令牌。然后，通用令牌通过两个解码器分别生成机器人关节控制指令和重建的机器人运动。训练过程中，四条损失函数同时优化：标准PPO损失、机器人运动重建损失、令牌对齐损失和周期一致性损失。后三条辅助损失的共同作用，是强制不同编码器在面对相同动作时输出彼此对齐的潜在表示。

这一对齐机制为什么重要？一个直接的答案是：VLA模型需要一致的动作空间来学习。如果人类示教数据和机器人自主运动数据映射到不同的潜在空间，VLA在训练时将面对一个割裂的动作分布。

研究团队的选择是有限标量量化（Finite Scalar Quantization，FSQ），而非更常见的VQ-VAE。原因在于，面对高度多样化的运动分布（33个主要类别、8447个子类别），VQ-VAE常遭遇“码本崩溃”——大量已学习的码本没有被有效使用，导致量化表示的表达能力大幅下降。消融实验证实了这一选择：FSQ在OOD测试集上的MPJPE-L比VQ-VAE高出8.7mm。关于量化器容量的进一步扫描还揭示了一个有趣的现象：标记维度的影响大于量化级别——表达能力比量化粒度更重要。

五、实时运动规划器：让追踪器“听得懂人话”

一个能追踪任何运动参考的通用策略很有价值，但如果没有一个实时的运动生成器，它只是一个“输入动画、输出动作”的昂贵玩具。

SONIC配套开发了一个生成式运动学运动规划器。这个规划器本质上是一个大规模潜在生成模型，基于与追踪策略相同的大规模自然全身运动数据训练。它的任务是：根据用户的实时指令（如“往前走”“左转”“蹲下”“出拳”），连续生成短时段的未来运动学参考，供追踪策略执行。

规划过程采用自回归中间动作生成框架。每一步，系统根据历史状态和目标关键帧，生成一段持续0.8到2.4秒的运动片段——时长由模型自动决定，以最大化灵活性和鲁棒性。规划器在标准笔记本上运行不到5毫秒，在Jetson Orin GPU上约12毫秒，能够以每100毫秒一次的频率重新规划，或在新用户指令到达时立即触发。

这个规划器的方法论核心是掩码标记预测。潜在运动序列被编码为标记，起始关键帧和目标关键帧作为约束，神经网络通过迭代预测置信度最高的标记子集逐步完成运动生成。这与当前文本生成图像中使用的方法有相似之处，但被巧妙地应用到了物理运动生成上。

有了这个规划器，SONIC得以支持多种交互式控制模式：导航（速度0-6m/s，方向任意）、风格切换（正常走路、醉酒步态、快乐走路、潜行）、以及互动技能（拳击、蹲下、爬行、跪立）。所有这些能力都是训练后指定的，无需重新训练规划器或追踪策略——这是规模化训练带来的灵活性的直接体现。

六、多模态控制：从视频、文本到音乐

SONIC通过集成通用人体运动生成模型GEM，实现了对四种输入模态的统一支持：

视频遥操作：通过单目RGB视频流（支持预录片段或网络摄像头直播）实时估计人体运动，帧率高于60fps。这意味着用户不需要动捕硬件，手机摄像头即可驱动机器人。视频控制提供的姿态和时序精度很高，允许用户对动作进行精细控制。

文本控制：接受自然语言提示，实时合成目标动作。支持随时输入提示词，机器人即时响应——“向前走”“踢左脚”“像猴子一样跳舞”都能被执行。

音乐控制：根据旋律和节奏结构生成舞蹈动作，机器人会跟随音乐的风格和速度进行表演。系统支持不同模态之间的平滑切换——用户可以先通过视频进行精细控制，再切换到文本做一般性指令，最后切换到音乐进入表演模式。

VR全身遥操作：使用PICO头显、脚踝追踪器和手持控制器，通过SMPL格式流式传输全身姿态。精简的三点式遥操作仅使用头显和控制器（无需脚踝追踪器），通过运动规划器自动生成下半身动作。

这些多模态控制能力共享同一套通用令牌空间。更换控制接口只需在部署时切换编码器——无需重新训练，无需重新调参。这是SONIC作为一个“通用控制基础设施”的重要特征。

七、从遥操作到自主操作：VLA驱动的全身机器人操作

SONIC最深远的影响，或许是它为VLA基础模型提供了一套高效的全身动作接口。

传统的VLA模型通常将上半身操作（手臂、手）与下半身运动（行走、平衡）分离，由不同的策略负责。这种分离设计在面对需要手脚协同的任务时——比如踩踏板同时保持手持物体——就显得力不从心。

SONIC的通用令牌空间覆盖了整个运动链，包括腿和脚。研究团队将GR00T N1.5 VLA模型接入这套接口，测试了五项复杂度递增的移动操作任务：

五项任务的平均成功率为75%。其中最复杂的是“汽水罐到垃圾桶”——机器人需要走到桌前、单手拿起垃圾桶、走到目标位置、一脚踩踏板保持平衡、另一脚支撑、把罐子扔进去。这一系列动作需要在单一动作序列中协调手臂、手、双腿的动态平衡。这种全身操作的连贯性，恰恰是传统“上半身操作与下半身运动分离”的架构无法实现的。

消融实验给出了一个关键证据：用FSQ标记作为VLA的动作空间，比直接预测SMPL姿态平均高出42个百分点（68% vs 27%）。在“汽水罐到垃圾桶”任务中，SMPL动作空间的成功率是0%，FSQ标记空间是60%。原因是FSQ提供的低维离散动作空间让VLA的学习负担大幅降低，而高维连续的SMPL姿态空间中，微小的预测误差会被放大为严重的跟踪失败。

八、零样本仿真到现实：124个动作，123个成功

真实硬件验证是任何机器人控制方法最后的试金石。研究团队在Unitree G1人形机器人上部署了SONIC，测试了124个不同的动作序列。

结果是：123个成功，成功率99.2%。整体MPJPE-L为25.7mm（仿真中为22.3mm），仿真到现实的差距非常小。差距最大的是脚部（53.7mm vs 29.0mm），这反映了真实接触动力学下精准落脚的技术难度。

在速度跟踪任务中，SONIC在现实中同样稳定运行，能够处理包括醉步、受伤步态、快乐步态和潜行步态在内的多种风格。拳击任务展示了SONIC生成自然连续运动的能力，避免了此前方案中因多个专家模型或动作标签切换而导致的卡顿和停顿。

在VLA驱动的全身操作任务中，所有成功率均来自真实硬件上的严格二分评估——没有部分计分，要么成功，要么失败。

九、为什么运动追踪能规模化，而其他方法不能？

文章最后给出了一个发人深省的解释。

运动追踪之所以能规模化，是因为它提供了密集的逐帧监督信号。每个训练帧都有一个明确的目标姿态，无论数据集多么庞大、多么多样，学习信号始终保持信息量。这使得性能随数据量的增加而稳步提升。

相比之下，对抗式模仿方法（AMP、ASE）中的判别器面对不断多样化的运动分布时，判断任务越来越难，反馈信息量越来越低，最终导致模态崩溃。而任务特定的奖励工程（如速度跟踪）每种新行为都需要一个不泛化的定制目标，从根源上不可扩展。

规模化的本质，是找到一个足够通用、足够密集、足够自洽的监督信号。语言模型找到了“预测下一个token”，图像模型找到了“去噪重建”，SONIC找到了“追踪下一个姿态”。三者在数学上完全不同，但在哲学上完全一致。

十、局限与未来

SONIC的局限也值得正视。当前系统对长期部署的安全和能源效率没有正式处理。跟踪器通过域随机化和弹簧模型对噪声规划器输出具有鲁棒性，但在极端条件下或极其动态的动作中，仍可能失去平衡。此外，泛化性测试主要针对“接近但非完全相同”的未见动作，对更大跨度的动作迁移尚未系统评估。

未来方向包括：将运动追踪与更高级的感知和推理结合，构建通用的类人机器人自主系统；扩展动作库的多样化，纳入更多物体操作和工具使用数据；以及在紧凑运动嵌入空间中支持更复杂的交互控制。

结语

SONIC的意义不止于一个高性能的人形机器人控制器。它证明了一件重要的事：人形机器人控制的规模化瓶颈，不在于算法本身，而在于任务定义和训练范式。当把运动追踪当作基础任务——一个有密集监督、无需奖励工程、可大规模扩展的目标——规模效应就会自然涌现。

从1亿帧动捕数据中学到的全身运动先验，通过FSQ量化令牌空间这一“通用语言”，打通了动捕、视频、VR、文本、音乐到机器人动作的全链路，也让VLA基础模型第一次真正拥有了全身操作的能力。规模化的路径已经清晰。这也许就是人形机器人控制从“手工时代”迈向“基础模型时代”的起点。

论文信息

标题： Scaling motion tracking for naturalistic humanoid whole-body control

作者：Luo, Z., Ye, Y., Wang, T., Li, C., Castañeda, F., Chen, S., Cao, Z., Li, J., Maina, D., 等

机构：英伟达、卡内基梅隆大学等

期刊：Science Robotics, 2026年8月12日，第11卷第117期

DOI：10.1126/scirobotics.aed4592

文章来源：CAAI认知系统与信息处理专委会

商务合作

商务活动｜宣传推广｜转载开白等

邮箱｜1784288990@qq.com

联系电话｜18355423366

END

“

如果内容对您有所启发，欢迎在评论区留言

请点赞、转发、小心心，将公众号设置为星标

”

求点赞

求分享

求喜欢