让灵巧手学会“旋扭”万物 | NSR

华中科技大学丁汉院士团队开发了面向灵巧手的通用旋扭强化学习框架DexAnyTwist，可帮助灵巧手完成瓶盖、阀门、螺丝刀、螺母和灯泡等多类日常物体的旋扭操作。该方法通过识别不同物体对应的操作模式，并为不同模式匹配专门的专家策略，提升了仿真训练表现，并实现了向真实物体的零样本迁移。相关成果发表于《国家科学评论》（National Science Review, NSR）。

DexAnyTwist 学习通用灵巧手旋扭技能：在包含 10 类、300 多个物体的大型仿真数据集中训练灵巧手，并将学到的策略应用到真实世界中的瓶子、螺母、阀门、螺丝刀和灯泡等旋扭任务。

扭开瓶盖、转动阀门、拧入灯泡，对人类双手来说几乎是下意识的动作。但对灵巧手而言，这类看似简单的操作仍然十分困难。成功完成“旋扭”不仅需要手指稳定抓握，还要在合适的时机滑动、支撑并施加旋转力矩，同时适应物体尺寸、形状、摩擦和刚度的巨大差异。

该研究开发出DexAnyTwist，一种用于学习通用灵巧旋扭技能的新框架。该框架将扭动任务重新定义为一种混合操控系统问题：系统不再强迫单一神经网络策略用一种“平均化”的动作处理所有物体，而是识别不同的物理动力学模式，并为这些模式学习专门的专家策略。

DexAnyTwist基本框架

研究团队构建了一个大型可旋扭物体库，用于强化学习训练。该数据集包含10类、300多个物体实例，涵盖瓶子、螺母、旋钮开关、洗发水瓶、酒瓶、阀门、化妆品、螺丝刀和灯泡等常见对象，覆盖了日常生活和工业场景中的多种旋扭操作。

DexAnyTwist在数据集中的表现

研究显示，通用旋扭的难点并不只是训练数据不足。随着物体种类增加，单一策略反而可能出现性能下降。原因在于，不同物体遵循不同的接触动力学规律：光滑瓶盖的旋扭可能主要依赖摩擦，而螺母或不规则工具则可能更多涉及几何约束和接触锁定。如果一个策略试图同时拟合这些彼此冲突的物理规律，就容易得到表现平庸的控制方式。

为解决这一问题，DexAnyTwist 提出了迭代式混合操控识别算法。该算法逐步将复杂操控任务划分为若干动力学一致的子系统。在每一阶段，系统识别出当前专家策略能够稳定处理的物体，将其从剩余困难样本中分离出来，再针对余下对象训练新的专家策略。最终，门控机制会根据物体和操作状态选择最合适的专家策略，实现自适应控制。

在仿真实验中，DexAnyTwist在构建的数据集上取得了优于现有基线方法的性能。在全部测试物体上，该方法达到90.4%的成功率。在最困难的30%物体上，DexAnyTwist的成功率达到69.5%，而研究中最强基线方法为51.0%。此外，在该困难子集上，DexAnyTwist的连续成功次数也超过最接近竞争方法的两倍，说明其在长时程稳定控制方面具有明显优势。

该框架还展现出良好的泛化能力，并能零样本从仿真迁移到现实。研究团队将训练好的策略直接部署到真实灵巧手上，并测试了阀门、螺丝刀、螺母、灯泡等代表性物体。无需针对具体物体进行微调，DexAnyTwist在真实实验中持续取得最高成功率，尤其在接触面狭窄或外形光滑脆弱的物体上表现突出。

真实实验测试

更有趣的是，DexAnyTwist还自发形成了可解释的操控模式。对指尖轨迹的分析显示，灵巧手的拇指主要负责产生旋转力矩，而食指和中指则更像支点一样稳定物体。这种分工与人类旋扭物体时的手指协同方式相似。频谱分析还表明，灵巧手多个关节形成了协调的节律性运动，说明策略学到的是结构化的运动基元，而不是零散的反应动作。

作者也指出，当前系统仍有局限。例如，灵巧手与物体之间的初始相对姿态仍需人工设定；此外，该框架尚未针对高力矩任务进行专门优化，因此在扭开紧密密封结构或摩擦系数大的物体时仍可能失败。未来研究可进一步引入自主初始化方法，并增强系统在高力矩场景中的操作能力。

通过将大规模强化学习与混合系统识别相结合，DexAnyTwist 为灵巧手学习通用、接触丰富的灵巧操作提供了一条可扩展路径。该研究表明，灵巧手未来不仅有望抓住各种物体，还可能真正学会在日常环境中对它们执行功能性操作。

空间漂浮工具灵巧抓取：利用强化学习实现灵巧机械手在零重力空间中的浮动工具的功能抓取

华山医院徐文东教授团队在猕猴研究领域获得新突破，揭示人类灵巧手与大脑互动的神经密码 | SCLS

7专家探讨“AI+机器人”：NSR“具身智能”论坛

白辰甲,许华哲,李学龙 | 大模型驱动的具身智能: 发展与挑战