NVIDIA Cosmos 3 Edge模型在边缘端提供前沿物理AI系统

物理


AI


系统依赖世界模型来感知、推理和预测物理环境。但现实世界十分广阔、无法预测且瞬息万变。

无论是导航仓库的


机器人


，还是观测工厂车间的摄像头网络，物理 AI 系统都需要理解当前状况，推断接下来可能发生的事情，并迅速采取行动以产生影响。到目前为止，在边缘端交付此类前沿 AI 通常意味着需要牺牲模型能力来换取部署效率。

现已推出的NVIDIA Cosmos 3 Edge有助于消除这种权衡。这款拥有 40 亿参数的全模态模型已进行优化，可在NVIDIA Jetson、NVIDIA RTX PRO 和 NVIDIA DGX 系统，以及 GeForce RTX


GPU


上实现内存高效部署和高吞吐量。

作为 NVIDIA Cosmos 3 的扩展，这款紧凑型世界基础模型能够理解并生成文本、图像、视频、环境声音和动作。其Mixture-of-Transforme


rs


(MoT)架构支持在设备上使得基于物理基础的实时视觉分析和机器人动作成为可能。

Cosmos 3 Edge 在边缘端提供前沿物理 AI —— 在同级别参数模型中，其视觉分析成功率在VANTAGE-Bench中排名第一，并通过后训练实现了先进的机器人学习。

跨机器人、智能汽车和智能基础设施的设备端物理 AI

开发者


可以使用NVIDIA DGX Station台式 AI 超级计算机，利用专有机器人和


传感器


数据对 Cosmos 3 Edge 进行后训练，从而构建专用世界动作模型，然后将其部署在NVIDIA Jetson Thor上，以实现包括操作或移动在内的实时机器人管理策略。Agile Robots、斗山机器人、


西门子


和 Skild AI 等合作伙伴正在评估 Cosmos 3 Edge 在机器人工作流中的应用。

对于智能汽车，Cosmos 3 Edge 可在资源受限的硬件上实现道路场景理解、交通推理、物体意图预测和策略模型蒸馏。该模型可用作学生主干网络，适用于汽车策略模型蒸馏，可与NVIDIA Alpamayo视觉语言动作模型结合使用。

在智能基础设施领域，Cosmos 3 Edge 凭借在 Jetson Thor 上进行的实时推理，为视觉智能体提供了业界领先的吞吐量和准确性。这些智能体能够跨实时视频流进行推理，用于交通监测、公共安全、物流和工业检测。开发者还可以在 NVIDIA Jetson Orin 8GB 上独立运行由NVIDIA Nemotron驱动的 20 亿参数推理模块。Cen


ti


fic、Vaidio和 YUAN 正在评估 Cosmos 3 Edge，以加速在边缘运行的视觉智能体。

Cosmos 平台现已开放获取

Cosmos 3 Edge 是用于开发物理 AI世界模型的更广泛的 NVIDIA Cosmos 平台的一部分。随着 Cosmos 3 推出 Edge (4B)、Nano (16B) 和 Super (64B) 三种规模，开发者可以为从边缘部署到高保真生成的开发的各个阶段选择合适的模型。

Cosmos 3 Edge、Cosmos 3 Nano 和 Cosmos 3 Super 现已在Hugging Face上发布，其推理和后训练框架及方法已在GitHub上提供。