苹果人形机器人系统取得新进展！91%的成功率背后，触觉传感器仍是关键

当地时间2026年11月4日，苹果研究团队在预印本平台arXiv发布论文《Perceptive Humanoid Motion from Simulation》，介绍了一套名为HALO的人形机器人自主控制系统。

HALO全称为Humanoid Autonomy, Learned in simulation, running Onboard，其核心思路是让机器人通过大规模仿真训练获得运动能力，再将学习成果直接迁移到真实环境中，实现自主行动。

研究团队将该系统部署在宇树科技的G1人形机器人上进行验证。

与传统依赖人工遥操作、预先扫描环境或固定动作程序的机器人不同，搭载HALO的机器人能够根据自然语言指令，自主完成多种动作任务。

例如：

• 根据指令找到指定物体或人员；

• 自主走到椅子旁并完成坐下动作；

• 侧身穿过半开的房门；

• 俯身钻过桌子或其他低矮障碍物；

• 根据指令推动箱子；

• 在陌生环境中跟随人员移动。

更值得关注的是，这些动作并不是在机器人提前扫描过的真实房间中训练出来的。

研究团队通过仿真技术生成了1000个不同的家庭环境，并利用合成数据训练机器人。最终，机器人在6个训练阶段从未见过、也没有提前扫描或建图的真实环境中完成了360次单项任务测试，平均成功率达到91%。

这一结果说明，机器人通过仿真环境学习运动技能，再迁移到现实世界执行任务，正在取得新的进展。

HALO真正值得关注的地方，不仅是它能够完成哪些动作，更在于其背后的机器人控制架构。

研究团队设计了三个相互协作的层级，分别负责任务理解、运动生成和动作执行。

1. 第一层：视觉语言模型，负责理解任务

机器人接收到自然语言指令后，首先通过视觉语言模型（VLM）理解任务内容，并结合自身摄像头采集的图像信息，将复杂任务拆解为一系列具体动作。

例如，当机器人接收到“走到椅子旁并坐下”的指令时，系统会将其拆解为向前行走、转向、定位椅子和坐下等子任务。

这一层主要解决机器人“应该做什么”的问题。

2. 第二层：运动生成模型，负责规划动作

在明确当前任务后，运动生成模块根据机器人第一视角摄像头获取的RGB图像，生成未来约5秒的全身运动规划。

该模块以约3Hz的频率持续更新运动计划，使机器人能够根据环境变化调整动作。

这意味着机器人不再只是机械地执行预设轨迹，而是能够根据当前看到的环境，动态调整下一步运动方式。

3. 第三层：运动跟踪器，负责实时执行

最后一层是运动跟踪器，以50Hz的频率运行。

它结合深度图像和机器人自身的本体感知信息，将运动规划转化为29个关节的控制指令，使机器人能够在实际环境中保持平衡、调整姿态并完成动作。

三个层级协同工作，构成了从自然语言理解到实际运动执行的完整闭环。

从传感器角度来看，这套系统已经不仅仅依赖摄像头获取视觉信息，而是将RGB视觉、深度感知和本体感知结合起来，为机器人的自主运动提供多维度信息支持。

此次研究最引人关注的数据，是机器人在真实环境中取得的91%平均成功率。

根据论文披露，研究团队选择了6种不同的单项技能，在6个真实环境中开展测试，每项技能在每个环境中测试10次，共计360次真实世界测试。

结果显示，机器人在不同任务中均取得了较好的表现。

但需要注意，91%对应的是预先定义的单项任务，并不意味着机器人已经能够以91%的成功率完成任意复杂的家庭任务。

在进一步测试多步骤连续任务时，机器人表现有所下降。研究团队在一个真实环境中对三种组合任务进行测试，平均成功率约为70%。

这说明，当机器人需要连续完成多个动作时，前一个动作结束时的身体姿态、视觉目标是否仍处于视野范围内，以及环境变化等因素，都会影响后续任务的执行。

这也是当前人形机器人从单项技能走向通用自主能力时需要解决的重要问题。

相比91%的测试成绩，HALO研究中还有一个更值得传感器行业关注的细节。

研究团队在论文的局限性与未来工作部分明确指出：目前机器人的感知输入主要依赖视觉，视觉并不能直接提供接触信息。

当物体离开摄像头视野，或者被其他物体遮挡时，机器人就可能无法准确判断它是否仍然存在。对于接触较为频繁的任务，这种感知不足会影响执行效果。

研究团队特别提到，触觉感知将是一个自然的改进方向。

这实际上揭示了人形机器人感知系统中的一个关键问题：

视觉传感器解决的是机器人如何看见世界，而触觉传感器解决的是机器人如何感受世界。

对于人类而言，拿起一个杯子，不仅需要眼睛判断杯子的位置、形状和大小，还需要通过手指感知接触位置、压力大小以及是否发生滑动。

机器人同样如此。

如果只有视觉传感器，机器人可以看到一个物体，却不一定能够准确判断自己是否真正接触到了它，也难以实时感知接触压力和物体滑移。

这就需要不同类型的传感器共同参与。

未来的人形机器人感知系统，可能需要重点融合以下几类传感器：

1. 触觉传感器：让机器人拥有类似皮肤的感知能力

触觉传感器可以布置在机器人手指、手掌、机械臂以及身体表面，用于检测接触位置、压力分布和滑动状态。

对于抓取易碎物品、操作精密工具以及与人进行安全交互等任务，触觉感知具有重要价值。

2. 六维力/力矩传感器：让机器人感知作用力

六维力/力矩传感器能够同时测量三个方向的力和三个方向的力矩。

通过这些信息，机器人可以判断自身与外部环境之间的受力状态，并根据反馈调整动作。

例如，在推动物体、接触桌面、搬运物品以及人机协作过程中，力觉反馈都非常重要。

3. 视觉与深度传感器：构建环境空间信息

RGB摄像头能够获取丰富的视觉信息，深度传感器则能够提供物体与机器人之间的距离和空间结构信息。

二者结合，可以帮助机器人识别物体、判断障碍物位置，并规划运动路径。

4. IMU与关节传感器：实时掌握自身运动状态

IMU能够检测机器人身体的角速度和加速度，结合关节位置、速度等信息，可以帮助机器人判断自身姿态、运动状态和稳定性。

这些信息对于人形机器人的平衡控制和动态运动至关重要。

未来，随着触觉、力觉、视觉、深度和惯性传感技术进一步融合，机器人有望形成更加完整的多模态感知体系。

HALO研究带来的启示，不只是机器人AI算法的进步，也反映出人形机器人产业对底层传感器技术提出了更高要求。

过去，机器人主要依靠位置传感器、编码器、视觉传感器等完成基础运动和环境识别。

而随着具身智能的发展，机器人需要从简单的运动执行设备，逐渐转变为能够理解环境、感知接触并自主完成复杂任务的智能系统。

这意味着，未来机器人对传感器的需求将不再局限于单一参数测量，而是向高精度、多维度、高响应速度和多传感器融合方向发展。

尤其值得关注的是电子皮肤、柔性压力传感器、MEMS惯性传感器、六维力传感器以及高灵敏度触觉传感器等技术。

这些技术有望在机器人灵巧手、关节控制、人机交互和安全协作等场景中发挥更大作用。

当然，HALO目前展示的主要是视觉、深度和本体感知协同下的自主运动能力，距离真正具备人类般的触觉与精细操作能力，还有相当长的技术发展道路。

但从产业发展趋势来看，触觉感知正在成为具身智能不可忽视的重要技术方向。

 

为您发布产品，请点击“阅读原文”