AMD使用相同编译器,复现了英伟达白皮书中公布的Vera CPU各项条件,发现无论是绝对性能、每瓦性能、每核性能、带宽,还是以不同订货型号(OPN)服务现代数据中心多种需求的能力,“Venice”都有优势:“Venice”的吞吐性能是Vera的2.2倍,开箱状态下每核心性能比Vera提升20%。相比英特尔和Arm平台,“Venice”吞吐量达到2倍,每核心性能达到1.3倍。在企业级应用中,相比第六代英特尔至强,256核“Venice”可实现2.5~3.7倍的性能优势。在生命科学、量子化学、气候预测等HPC场景中,256核“Venice”的性能是128核英特尔至强6980P的1.8倍~3.1倍。一个使用了五年的老旧数据中心,如果有大约1000颗英特尔至强处理器,只需82颗“Venice”就能完成替代,替换比例约为12:1,由此可减少77%功耗、92%的服务器数量、40%的5年TCO。作为主机CPU,相比上一代“Turin”,“Venice”运行前沿模型的每秒Token数增加80%。“Venice”可提供多种高密度方案。在一种配置中,其每机架最高可达到约4.9万个CPU核,相当于88核英伟达Vera方案的2.2倍。该处理器现已进入量产阶段。 04.网络三利器:400G DPU、UALoE、800G AI NIC
AMD多年来一直在建设前端网络、纵向扩展网络(scale-up)和横向扩展网络(scale-out),并在三个领域分别形成了领先方案。Helios网络系统包括三层:(1)前端网络:第三代Pensando Salina DPU,400G带宽,性能翻倍,负责软件定义网络、在线加密和多种安全服务,并支持分离式存储架构,如NVMe over Fabrics和KV Cache卸载。(2)纵向扩展网络:第一代UALoE fabric,可将72颗GPU连成像统一GPU资源池那样运行,提供260TB/s带宽(上一代的3倍),建立31TB HBM4统一内存,具备高可靠性与高可用性。(3)横向扩展网络:第二代Pensando “Vulcano” AI NIC,800G,PCIe 6.0、UAI,每颗GPU最多可配3张AI NIC,从而提供最高2.4Tbps的总带宽。1、Salina DPU:为智能体卸载基础设施任务在前端网络中,DPU影响到基础设施能同时运行多少智能体、智能体记忆能维持多久,以及整个基础设施能以多高的效率扩展。Salina DPU的性能是英伟达BlueField 3的1.4倍。其NVMe over Fabrics能力和缓存管理卸载,可让存储在物理上解耦,同时在GPU看来仍是一个共享资源池,还能在保持安全性与租户隔离的同时,处理KV Cache上下文的检索与放置。这样既能降低网络时延,也能释放CPU周期,让CPU把更多资源用于提高智能体AI密度。AMD的一家超大规模客户通过采用DPU,在每台服务器上释放了22个CPU核心,显著提高基础设施性能。2、UALoE:开放的纵向扩展架构UALoE是一种开放、基于以太网的纵向扩展架构,注重可靠性、可用性和可维护性(RAS),旨在让链路中断、交换机故障或丢包等问题不至于迫使任务整体重启,也不必付出昂贵的检查点恢复代价。其还在端点执行在线加密,以支持机密计算,并针对不同的故障场景进行妥善处理。Fabric Manager是UALoE背后的软件定义智能系统,为零接触部署、监控和全生命周期管理提供统一控制界面,能提供细粒度可观测性与遥测数据,展示网络健康状况和性能,借助内置RAS能力恢复故障,并在潜在问题影响工作负载之前发出提示。其虚拟POD机制可将一套72-GPU系统划分为多个虚拟POD,在每个vPOD内建立相应的隔离、韧性与可靠性,进一步提高系统级可用性。3、Vulcano 800G AI NIC:每GPU带宽提升50%在横向扩展网络中,Vulcano支持智能负载均衡、硬件拥塞管理,以及快速丢包检测与恢复,使GPU能够最大限度利用网络带宽,同时降低时延和抖动。这些能力结合起来,每GPU带宽可提升多达50%,将大语言模型训练速度提升13%,通过多平面网络和智能数据包分发可将网络成本降低33%。 05.本地AI:把3000亿参数模型搬到桌面
本地模型正以惊人的性能增速演进。过去需要超过1000亿参数模型才能达到的性能,如今正在下沉到约90亿参数的模型。如今,90亿参数级模型能装进一台主流AI PC,比如配备足够内存的Ryzen AI 400,就能支持最高240亿参数的模型。之前在CES上发布的Ryzen AI Halo开发者平台,即插即用,拥有128GB统一内存,最高可运行约2000亿参数的模型,也能构建多智能体工作流。ROCm软件栈能横跨AMD不同硬件平台运行。开发者可在本地完成大量开发工作,比如先在Ryzen AI Halo上运行模型、进行微调和开发功能,再使用同一套软件,无缝迁移到性能更强的数据中心产品。AMD正在全面深化与全球最大开源AI社区Hugging Face的合作,目标是让开发者能够无缝调用Hugging Face模型,并在AMD平台上轻松发挥其能力。每台Ryzen AI Halo将附赠一年Hugging Face Pro订阅,鼓励开发者充分利用这一生态。之前AMD还在Computex上介绍了新一代产品,代号“Gorgon Halo”,对应新一代Ryzen AI Max PRO 400系列,把统一内存支持从128GB提高到192GB,将本地可运行模型的上限从约2000亿个参数提高到约3000亿个参数。AMD已形成广泛的个人AI系统生态,形态包括笔记本电脑、工作站、小型台式机和开发者平台等。 06.物理AI:推出X100系列处理器,掏出机器人开发全家桶
AMD嵌入式业务在物理AI领域拥有很长的历史。其业务部门很大一部分来自AMD对赛灵思的收购。赛灵思进入机器人领域已超过20年。物理AI的核心可以概括为感知、理解、行动。而FPGA在这三个环节都有优势。面向物理AI和机器人领域,AMD发布Ryzen AI Embedded X100系列处理器、Kira AI机器人开发者平台、Kria AI系统模块(SOM)、Kria AI机器人开发者平台,以及AMD机器人合作伙伴网络。(1)Ryzen AI Embedded X100系列处理器:16核“Zen 5” CPU,具备独显级能力的RDNA 3.5 iGPU,XDNA 2 NPU(特别适合低功耗、始终在线的推理)。(2)Kria AI系统模块(SOM):一块预先完成高速接口和基础计算模块设计的模块,底部配有一组连接器,可插入客户设计的载板,帮助产品快速进入市场。经测试,与英伟达Jetson AGX Thor对比,Kira AI平台可实现3.4倍的实时控制性能、2.3倍的并发智能体数量、1.6倍的CPU容量。(3)Kria AI机器人开发者平台:计划今年第四季度出货,将搭载Ryzen AI Embedded X100 SOM和一块参考载板结合。参考载板上配有AMD Spartan UltraScale+ FPGA,用于传感器聚合和传感器融合。设备背面提供常见的以太网、USB和显示输出等接口。前面板专为机器人设计,用于接入时间敏感网络、摄像头和各类传感器。开发者可在几天内完成从概念到原型的过程。AMD将开放载板的原理图、物料清单(BOM)以及载板上FPGA的RTL设计,使客户能根据具体应用修改设计,快速进入市场。开发者可在云端使用AMD Instinct GPU训练基础机器人模型,再使用同一软件栈,把模型部署到Ryzen AI Embedded X100处理器和Kria AI机器人开发套件上。AMD正在构建一套从训练到部署的软件栈,包括机器人核心SDK、更广泛的物理AI SDK以及未来持续扩展的软件开发套件。其机器人合作伙伴网络也日益壮大,包括模型、中间件、传感器、应用与系统、物理仿真合作伙伴,以及负责测试、验证和产业协作的相关组织。 07.软件:发布ROCm.ai软件栈,让智能体加速AI开发