颠覆后训练范式！无需人类动作标签，银河通用WAM-TTT让机器人换厨房不丢手艺

发布时间：2026-07-16来源：腾讯科技

文丨晓静

编辑丨徐青阳

7月16日，银河通用发布WAM-TTT（World-Action Model Test-Time Training），定位为全球首个面向具身智能大模型的测试时后训练框架，这也是银河星脑（AstraBrain）持续学习体系中面向世界‑动作模型（World‑Action Model，WAM）的又一项世界级原创性技术创造。

银河通用创始人兼CTO王鹤列举过一个很生动的例子：一个厨师在技校学会做一道菜，到了另一家餐厅，锅、碗、灶台、调料品牌和形态全部换了，但他依然知道这道菜应该怎么做。

厨艺不会因为换了厨房而发生改变。WAM-TTT希望给机器人增加的，也是这种能力。基础技能仍然来自预训练；进入新环境之后，机器人只需要快速理解这个“新厨房”。

按照银河通用的定义，它首次建立起一条从模型预训练到部署阶段迅速、低成本完成适应的突破性技术路径：机器人进入新环境后，无需大量机器人轨迹数据、数据无需人类动作标注，仅通过观看少量第一视角人类视频，就能完成部署阶段的快速适配。

同步发布的技术论文给出的实验结果也很有代表性。面对光照、桌面高度、操作物体同时变化的全新家庭环境，论文设置的上下文学习基线WAM-ICL（即把人类示范视频直接放入模型上下文、执行时临时参考）九项任务平均进度从48.4%下降至7.1%；采用WAM-TTT后，同样的人类视频、同样的基础模型，跨环境表现保留率由约15%提升至约76%。

这意味着，机器人真正进入客户现场之后，开始拥有了一种基础模型所不具备的能力，部署阶段继续适应环境。

王鹤曾在ICRA 2026主旨演讲中，将WAM-TTT称为连接预训练与真实部署的重要一环。他认为，这类技术真正解决的问题，是如何把已经训练好的基础模型快速带到真实世界，并支撑长期部署。

01 从“毕业即定型”到“到岗即适应”

过去几年，机器人行业的大部分竞争集中在预训练。谁拥有更多机器人数据，谁训练出更大的基础模型，谁在标准环境下完成更多任务，一直是行业最重要的竞争指标。

但随着机器人开始进入零售、药房、工厂和仓储，行业正在遇到另一个更加现实的问题。

机器人已经会干活，却不会“换地方干活”。

比如便利店今天的灯光环境变类，或者是同样一张餐桌，不同门店使用的餐具形状、颜色、材质都不一样。机器人真正面对的是同一个技能在不同场景中的大量变化。

为了适应这些变化，目前行业主要采用三种方式。

第一种，也是目前最常见的方法，是重新采集目标场景中的机器人轨迹，再进行监督微调（SFT）。

这种方法效果稳定，但成本最高。机器人轨迹必须依赖真实机器人、遥操作设备和专业操作人员完成采集，一条数据往往需要几十秒甚至几分钟才能获得，采集效率远低于人类动作数据。

第二种，是近年来越来越多基础模型尝试采用的上下文学习（In-Context Learning）。

开发者把人类示范视频直接输入模型，让机器人在执行过程中不断参考这些示范，希望借此完成新场景适应。

第三种，则是部署之后继续强化学习，让机器人通过真实交互不断积累经验。

但对于商业部署来说，这条路线存在明显限制。机器人需要大量真实试错，而零售门店、药房和工厂很难接受机器人在生产环境里不断失败。

三条路线分别对应三种成本。机器人数据昂贵；上下文越来越长，注意力越来越分散；强化学习则要求真实环境允许持续试错。

如果机器人未来要进入门店，每增加一个客户都重新采集数据、重新训练模型、重新派工程师进场，规模化几乎难以成立。

WAM-TTT希望解决的，正是现实的部署成本难题。论文采用的是另一种思路——Test-Time Training（测试时训练）。

图：传统方法与TTT的区别

与传统训练不同，它并不会重新训练整个基础模型，而是在部署阶段进行轻量学习。模型进入新环境之后，基础模型主干保持冻结。

02 三项技术突破，把人类视频变成机器人“成精”的一段记忆

WAM-TTT建立在银河通用此前提出的World Action Model（WAM，世界动作模型）之上。相比传统机器人模型只预测“下一步动作”，WAM同时学习两件事情：预测未来视觉状态，以及生成机器人动作。

图：机器人进入新场景后，只需观看少量无标注的人类示范视频，无需机器人轨迹数据、动作重定向或人工标注，即可完成部署阶段适配。系统通过自监督视频预测，将视频信息写入轻量级快速权重（Fast Weights），预训练世界动作模型（WAM）全程保持冻结。随后，机器人依靠这段新生成的参数化记忆完成任务执行，实现人类示范向机器人行为的高效迁移。

这也是WAM能够理解人类视频的基础。

对于机器人来说，人类视频里并没有任何机器人关节角度，也没有机械臂控制信号。真正存在的，是物体状态的变化。比如杯子从桌子左边移动到右边；盘子被放进收纳箱；货架逐渐整理整齐……这些变化，本质上都是世界状态。WAM-TTT把视觉变化和动作变化放进同一套隐空间建模，因此，人类视频里的视觉动态能够间接影响动作生成。

论文最大的创新，也正是在此基础上展开。

第一项突破，是部署阶段只需要人类视频。机器人进入新的目标环境后，操作者只需要录制少量第一视角人类示范视频。系统利用这些视频完成一项自监督任务——预测未来视频帧，并据此更新一组轻量快速权重（Fast Weights）。

整个过程，不需要新增机器人轨迹，不需要遥操作采集，也不需要任何动作标签。

这里有一个容易误解的地方。部署阶段确实只需要人类视频，但整个WAM-TTT体系并不是完全摆脱机器人数据。

第二项突破，是跳过动作重定向。传统方法通常要先估计人的三维手部姿态，再把人的动作映射到机器人关节空间。这条链路涉及人体姿态估计、动作重定向、机器人运动学等多个步骤，对遮挡、深度误差和本体差异都非常敏感。

WAM-TTT完全绕开了这条路线。它真正学习的是，任务进行了哪一步、物体发生了怎样的变化、环境最终应该呈现什么状态。

第三项突破，是把新场景的信息保存到一块独立记忆里。部署阶段，WAM主干、动作专家以及其他慢权重全部保持冻结。真正发生变化的，只有快速权重。

银河通用将这一机制概括为“零遗忘”。从论文机制来看，更准确的理解是：部署阶段不会直接修改基础模型和动作专家，因此能够规避新场景适配覆盖原有动作能力的风险。

图：WAM-TTT的创新突破

03 人类视频开始成为具身智能的“第二种数据”

WAM-TTT还回答了产业中一个核心的问题，人类视频究竟能替代多少机器人数据？

论文在Unitree G1、Galbot双臂夹爪和Galbot灵巧手三种机器人本体上，完成了九项真实操作任务测试，每个“任务—环境”组合运行25次。为了验证快速权重是否真正起作用，研究团队设计了一组非常直接的对照实验。

图：实验设置

两组模型接收到的是完全相同的人类示范视频。唯一的区别在于视频如何进入模型。一组采用论文提出的WAM-TTT，将视频用于更新快速权重；另一组采用论文设置的对照方案WAM-ICL，即把视频直接放进模型上下文，在执行时作为参考，不更新模型参数。

原始训练环境中，两者差距并不算大。

但是，真正拉开差距的是跨环境迁移。当光照、桌面高度和操作物体同时变化，机器人进入此前从未见过的家庭环境后，两者的跨环境表现保留率分别约为15%和76%。跨环境能力便相差约5倍。

论文还单独测试了光照变化和空间位置变化。在Deliver Drink任务中，面对光照扰动，WAM-TTT任务进度达到66%，WAM-ICL只有12%；面对空间位置变化，两者分别为56%和20%。

论文中的另一组实验，是关于机器人行业最关心的数据成本问题。研究团队在Transfer Bottle、Table Bussing和Deliver Drink三个任务中，总数据预算为200条，假设数据极度有限。

第一组全部使用机器人示范。第二组使用100条机器人示范，加100条配对人类视频。

最终，两者平均任务进度分别为73.7%和74.1%，几乎没有差别。换句话说，在元训练阶段，100条人类视频承担了接近100条机器人示范的数据价值。

图：在此前未见过的家庭环境中，研究团队对9项真实操作任务进行了评测（每项任务25次）。WAM-TTT平均任务进度达到46.2%，明显高于LDA、WAM-Cotrain和WAM-ICL等基线方法，说明通过测试时后训练，机器人能够在部署阶段利用少量人类示范视频，更好地适应新的环境和任务变化。

机器人数据负责身体（Body）。人类视频负责任务（Task）。它们之间不存在谁替代谁，而开始形成一种新的分工。

但它释放出一个值得关注的产业信号。未来机器人基础模型的数据体系，很可能从单一机器人轨迹，逐渐演化成双层结构：昂贵的机器人数据用于动作接地和本体对齐，规模更大、成本更低的人类视频承担任务知识、流程经验和场景变化。

类似趋势已经开始出现。

Physical Intelligence在研究中同样发现，随着机器人基础模型不断增强，人类第一视角视频开始能够有效迁移到机器人任务。在机器人数据受限的条件下，利用人类视频进行辅助训练可显著提升模型泛化性能，该结论与 WAM-TTT 方法所获得的实验结果一致。

04 规模化部署的产业意义

从具身智能行业来看，竞争的重点已经从“谁拥有更大的基础模型”，逐渐转向“基础模型部署之后还能不能继续学习”，是否能够低成本规模化部署。

Google DeepMind发布Gemini Robotics On-Device，希望开发者利用少量示范完成新任务适配；NVIDIA围绕GR00T建立了覆盖数据生成、仿真训练和后训练的机器人开发体系；Physical Intelligence则持续探索机器人利用真实交互不断积累经验。

不同公司的技术路线各不相同，但方向开始趋同。银河通用的WAM-TTT，着重攻克的就是部署之后这一环。这也是它最大的产业意义。

银河通用对银河星脑（AstraBrain）的定义，以预训练基座模型与后训练框架为核心。其中，AstraBrain WAM作为大脑预训练的基座模型，负责环境理解与动作规划；WAM-TTT则作为后训练阶段的适配框架，使机器人在学会某一技能后进入新环境后能够快速适应，为规模化部署提供关键支撑。

过去，一个机器人进入新的客户现场，往往意味着重新采集机器人数据、重新训练模型、重新调试。未来，如果部署阶段能够通过少量标准化人类视频完成适配，那么机器人公司的交付方式也可能随之改变。

基础模型保持统一维护，不同客户保存自己的快速权重。新增一家门店，增加一段新的场景记忆。但这距离真正产品化还有不少工程问题需要解决。

论文还没有回答一次适配需要多少时间，需要多少视频，也没有验证快速权重如何管理大量客户、长期升级和版本兼容。但它已经把行业关注点推进了一步。

王鹤曾给具身智能的“ChatGPT时刻”下过一个定义：预训练后的机器人，在无需专门后训练的情况下，对大多数任务能够达到70%到80%的零样本成功率。

WAM-TTT距离这一目标还有距离，但它补上了重要的一块能力拼图，那就是机器人离开训练中心之后，第一次拥有了一套经过论文验证、能够工程化实现的部署期学习机制。

可以想象未来这样一种场景。一家新开的便利店部署机器人后，店员按照统一规范录制几段摆货、取货和补货视频，系统据此生成新的快速权重。机器人公司需要重新采集机器人轨迹和整模型微调的工作有望减少，机器人更快适应新的货架布局和操作流程。

未来，每个机器人更像是一位已经毕业的员工，到达新岗位后，通过短时间熟悉环境便能投入工作。对于具身智能行业而言，这种变化的意义，或许并不亚于基础模型本身的又一次升级。