自变量发布 DMuon 优化器，分布式改造 Muon 大模型基础设施，让具身模型训练提速 30%

神经网络优化器是大模型训练的底层基础设施，负责调度更新模型权重的方向和步长等。




近年来，


Muon 优化器在大语言模型训练领域逐渐成为焦点，展现出相比 AdamW 更快的收敛能力。





自变量的实验发现，在具身智能训练场景中，受益于不同于语言模型的模型结构与优化需求，


Muon 进一步展现出良好的适配性，相比 AdamW 在训练效率和最终性能上均取得显著提升。

但在


应用


于分布式计算时，


Muon 相比 AdamW 引入了额外的计算和通信系统开支，导致端到端步时间飙升到 AdamW 的 2.2 倍左右，





计算收敛更快的提效被额外系统开支所吞没，相较


AdamW 不具有绝对优势。

近日，自变量


机器人


发布了一种高效的分布式


Muon 基础设施 DMuon，将细粒度通信优化、计算感知负载均衡与高性能内核系统相结合，能够消除 Muon 应用于分布式训练时额外引入的系统开支，端到端步时间从 AdamW 的 2.2 倍降低为 1.02 倍，整体模型训练提速约 30%。





此外，


DMuon 不改变参数更新规则、不需调整训练框架，只需 3 行代码就能引入，有望成为具身模型训练时新的默认选项。

不仅如此，神经网络优化器作为大模型训练的底层设施，过去的优化主要由


OpenAI、DeepSeek、Kimi 等公司贡献。但 Muon 优化器面对的额外系统开销问题，在具身模型训练时又格外突出。





自变量此次发布


DMuon 优化器，是罕有的具身模型企业为大模型底层基础设施的优化改造做出贡献。

Muon 优化器能更快计算收敛，




但应用于分布式训练仍需改造

Muon 是近两年出现的一种革命性的神经网络优化器，能通过“矩阵正交化”大幅提升训练效率和收敛速度，计算效率相当于过去以逐个元素计算的优化器 AdamW 的 2 倍，已经被 Kimi-K2 与 DeepSeek-V4 在生产规模的训练中使用。

然而，


Muon 在实际生产部署中仍有阻碍。大模型预训练时，会将原本存储在单个 GPU 上的模型参数、梯度和优化器状态切割成多个部分，分散到集群中的不同 GPU 上分别存储和计算。这与 AdamW “逐个元素更新”的工作方式相契合，因为其更新只作用于本地分片；但与 Muon 的工作方式相冲突，因为其核心计算步骤 Newton–Schulz 迭代需要知道完整的权重矩阵而非单个分片的信息。

因此，在将


Muon 应用于分布式训练时，必须先重建出完整矩阵、引入逐元素优化器所没有的计算和通信。





这笔额外的开销会出现在每一个优化器步骤、矩阵参数上，并随模型规模和分布式宽度而增长。对于具身模型，这种影响更甚：因为具身模型的时序上下文更短，前向


-反向传播占比更小，使得优化器的开销更难被摊销。

简单来说，将


Muon 优化器应用于大模型预训练的分片计算时，由于每个 GPU 都需要拼接出完整矩阵、计算同样的 Muon 更新，这带来了海量的重复计算和拼装通信。





其结果是，每步训练时间反而达到


AdamW 的 2.2 倍：Muon 在计算效率上省下的时间，又被系统开销消耗掉了。





这使得在分布式计算时，


Muon 相比 AdamW 尚不是一个能完美替代的选项。

自变量三项改进消除系统开支，





端到端步时间接近


AdamW 水平

为了解决


Muon 应用在分片计算上的难题，





自变量机器人提出


DMuon ——一个将每步性能差距缩小到 AdamW 水平的分布式 Muon。





简单来说，


DMuon 既能保留 Muon 计算收敛更快的好处，也能让端到端步时间接近 AdamW，让 Muon 从“理论上很美、生产上很贵”变成可以默认启用的选项。

通过细粒度通信优化、计算感知负载均衡、高性能内核系统这三方面改进，


DMuon 能消除冗余的优化器计算。相比传统的分布式 Muon，DMuon 能将端到端单步计算时间加速 1.48-3.01 倍，将优化器步骤加速 6.85-163 倍，将端到端步时间平均保持在 AdamW 的 1.02 倍以内。

DMuon 主要提出了三项改进方法：

1、Owner 中心执行与细粒度通信优化。

Owner 中心执行是 DMuon 解决“冗余计算”和“通信开销”问题的核心架构。




原生的分布式


Muon 会让每个显卡都计算完整梯度和 Newton–Schulz 迭代，显卡越多重复计算越多。DMuon 则将每个矩阵参数分配给唯一的 Owner rank（所有者进程），只有它会保存这个矩阵的优化器状态、执行 Newton–Schulz 迭代计算，再将需要更新的参数分发给需要的 GPU。

由于


Owner 需要收集各 GPU 计算的梯度、发放计算完的新权重，这也带来了额外的通信开销。




DMuon 会将这些通信“插空”放在计算的空档里，




有三个关键设计：一是让相邻矩阵的通信分散到不同节点间通信组，多路广播可以并发而不排队；二是前向传播中，节点间广播提前发出、节点内广播临近使用才发出，让通信


“错峰”进行；三是反向传播中，将“广播下一层参数”与“规约本层梯度”两类通信错开编排。

经过实验，原生的


Muon 优化器的计算时间不随 GPU 数下降而下降，而DMuon 能伴随 GPU 数线性下降，说明冗余计算被消除、GPU 越多收益越大。

2、形状自适应执行栈。

在消除不同


GPU 的重复计算后，优化 Newton–Schulz 就成了主要问题。需要计算的权重矩阵形状通常很不一致：有些矩阵能独自占用整张 GPU、有些矩阵需要凑在一起才能喂饱 GPU。





这些不同形状矩阵的优化方法差异很大，需要一套


“形状自适应”的执行栈，让优化的数学形式、执行方式和底层内核随之改变。

对此，


DMuon 作出四项优化：1、采用 Gram 空间递推，将 NS 迭代从 m×n 的矩阵空间搬进 m×m 的 Gram 矩阵空间，将主要计算量从 O(m²n) 降到 O(m³)（m<n时）；2、利用 Gram 矩阵的对称的性质，将主要乘法的算术量近乎减半；3、让小矩阵批量化“拼车”，把同形状的小矩阵打包一起计算；4、DSL 驱动的自动调优，从模板生成大量候选内核，每次遇到新形状先在不同内核测速择优，未来遇到同形状就用相同内核计算。

3、计算感知负载均衡。

DMuon 会基于实测成本来优化 Owner 的工作量分配。虽然每个权重矩阵的更新只由一个 Owner 计算，但由于矩阵大小差异悬殊，计算耗时可能相差数个数量级。如果 Owner 分配不当，可能出现有些 GPU 计算满载、有些 GPU 闲置的情况。

DMuon 在初始化时，先将所有矩阵按形状分组，针对每种形跑完一遍完整的计算，并记录下实测耗时。




然后使用混合整数线性规划（


MILP）来优化分配，降低所有 Owner 中最慢者的完工时间，以提升整体的计算效率。

三行代码启用


DMuon，






成为具身模型训练


“默认选项”

自变量将


DMun 优化器的效果在真机上进行了测试。





测试是在一个


A800-SXM4-80GB 的集群上完成的（每节点配备 8 张 GPU，节点内通过 NVl


ink 连接，节点间通过 200 Gb/s 的 InfiniBand 网络连接），数据精度为 bf16。主要对比的是相同配置的 AdamW 优化器，以及原生的分布式 Muon。

实验发现，原生


Muon 优化器的计算时间不会伴随显卡数下降而下降，说明存在大量的冗余计算；DMuon 则近乎线性下降。当显卡规模较小时，Muon 由于节约了一半优化器显存占用，所以能够开启更大的批大小，计算利用率领先于 AdamW。





在规模增大之后，计算效率基本持平


AdamW，但 Muon 本身提供了更快的收敛速度，在自变量预训练设置下，仍能够获得约 30% 的训练收益。

DMuon 采用模块化设计，提供 Drop-In 式接入方式。用户无需修改现有训练代码或调整 PyTorch FSDP 分布式训练流程，



仅需数行代码即可完成集成，




享受到


Muon 在分布式环境下的高效执行能力。

未来，自变量还将进一步探索面向大规模模型训练的系统优化方向，包括适配更复杂的混合并行策略、结合更底层的通信机制优化，进一步提升优化器在超大规模分布式训练中的扩展效率。

具身企业涉入基建


“深水区”，





成为大模型技术新的一极

简单来说，




自变量发布的


DMuon 优化器能消除将 Muon 用于分布式计算时产生的冗余计算和额外通信等系统开销。这使得 DMuon 成为 Muon 和 AdamW 在大模型分布式训练时的替代品。

神经网络优化器直接影响模型的训练效率，是大模型的底层基础设施。对优化器的改进不仅影响企业内部训练模型的效率，也影响整个具身模型行业的前进速度。此前，很少有具身模型公司能深入基础设施底层。

DMuon的发布，不仅意味着以自变量为代表的具身模型公司，已经成为与大语言模型企业并肩的新的一极，成为技术的积极贡献者；也意味着自变量已经从研究阶段转入工程化阶段，为规模化推出具身模型积蓄底层基础设施的技术力量。