NVIDIA将图形研究领域的突破引入仿真与物理AI

在今年的 SIGGRAPH 大会上，NVIDIA 的研究重心不仅是打造视觉逼真的虚拟世界，更致力于让虚拟世界能够真实运作并实时响应。

这一理念的转变贯穿了 NVIDIA 本届入选的 21 篇技术论文 —— 它们正成为实时系统的基石，使这些系统既能生成虚拟世界，又能驱动现实世界中的机器训练。

无论是用于游戏、电影、


机器人


还是工厂数字孪生，其最终目标始终如一：利用以 3D 为基础、遵循物理规律且由创作者主导的


AI


生成世界，来拓展


创意


的边界。

最直观的例证便是 Mo


ti


onBricks：这是一个实时动作模型，基于超过 35 万个动作片段训练而成，能够以游戏引擎级的速度运行，让创作者能够灵活控制和衔接角色的动作。驱动屏幕上动画角色的同一个模型，还能同步控制现场的宇树 G1 人形机器人，通过计算机图形学 (CG) 和


仿真技术


来加速物理 AI 的发展。

GPC (生成式预训练


控制器


) 框架则进一步延伸了这一理念，它用于在大规模动作数据集上训练生成式控制器。NVIDIA 利用大规模人体动作数据对单一控制器进行预训练，使其掌握可迁移的运动能力，并能够泛化到全新的任务中。这标志着运动控制基础模型的起步。

为了构建可用于测试这些运动能力的虚拟世界，ArtiFixer 将粗糙、存在缺失的现实世界 3D 数据，重建为高质量且完整的虚拟场景。它还引入了一种全新的方法，能够仅凭场景几何结构信息，预测出照片级真实感的全局光照 —— 且无需追踪任何光线。

为了让这些虚拟世界的表现与现实世界一致，NVIDIA Newton 物理引擎中采用了全新的求解器，使雪、沙子和弹性固体等难以


模拟


的材质变得栩栩如生。

同时，为了确保创作者始终掌握创作控制权，VideoNeuMat 流程使他们能够从生成式视频模型中提取出可复用、可重新打光的材质;而 ARDY 自回归扩散模型，则允许创作者通过文本提示词实时引导 3D 角色的动作。

上述论文均已公开发布，相关代码和模型均可免费下载。想要了解更多详情，敬请关注 NVIDIA 在 SIGGRAPH 上的最新展示。