英伟达硅光路线图
人工智能对技术的巨大需求迫使整个技术栈的各个层面都必须做出改变。在机架间传输数据时,计算机制造商越来越多地采用硅光子技术来突破铜的局限性。这其中就包括英伟达,该公司在该领域进行了大量投资。但许多决策都是迫不得已的。
在最近的GTC开发者大会上,英伟达CEO黄仁勋简要介绍了公司打造NVL1152“Kyber”超级计算机的计划。这是一款全新的巨型扩展型超级计算机,将搭载1152个GPU。NVL1152预计将采用目前计划于2028年出货的“Feynman”一代GPU,其处理器数量将是公司目前最大的扩展型超级计算机NVL72的16倍。
NVL72 是目前世界上性能最强大的单机架式计算机之一。它由机架顶部和底部的 18 个计算托架组成,中间穿插着 9 个交换机托架。每个计算托架包含两颗英伟达超级芯片(VR200 或 GB200/GB300),每颗芯片包含一个 CPU(Vera 或 Grace)和两个英伟达 GPU(Rubin 或 Blackwell)。每个交换机托架包含两颗 NVSwitch ASIC,每个托架共提供四个 NVLink 端口,可在两颗超级芯片之间实现每秒 1.8 TB 的数据传输速率。
计算和交换机托架的摆放位置体现了NVLink作为无源全铜缆网络的物理限制。在当前速度下(NVLink 6.0每链路200Gb,NVLink 5.0每链路100Gb),无源铜缆网络中的信号在距离约2米至2.5米处就会衰减到无法使用的程度,因此需要将它们物理放置得尽可能近。
英伟达正在不断突破机架式计算能力的极限。目前,Blackwell NVL72 在满负荷运行时功耗约为 132 千瓦,而 Rubin NVL72 机架式显卡的功耗则约为 220 千瓦。为了防止硅芯片因过热而熔化,目前的 NVL72 系统均采用液冷散热。随着 2028 年 Feynman 代 GPU 的推出,英伟达将转向 800 伏直流机架式架构,这将使其计算密度进一步提升,但目前尚不清楚具体能提升多少。
这就是英伟达下一代纵向扩展NVLink系统面临的局限性。在目前的计算密度下,NVL1152理论上可以将16个NVL72连接成一个位于同一内存空间内的纵向扩展系统,这将使人工智能公司能够训练和运行比现在规模大一个数量级的人工智能模型。纵向扩展机器的连接速度比横向扩展机器快10倍,因此在训练或运行大规模模型时,即使芯片间和芯片与内存之间的微小延迟也会累积成显著的性能瓶颈,而纵向扩展机器正是首选方案。
虽然英伟达尚未透露NVL1152系统的具体设计方案,但表示将采用铜和硅光子技术的混合方案。这体现了计算机领域的一条古老格言:能用铜的地方用铜,必须用光子技术的地方用光子技术。
英伟达市场营销高级副总裁吉拉德·沙伊纳表示:“如果能用铜线,我肯定会在所有地方都用铜线。我希望它能无处不在。但铜线的局限性在于传输距离。随着网络速度的不断提升,铜线的传输距离却在不断缩短。”
Shainer表示,在200Gb/s的传输速率下,超过约2.5米后,无源铜的插入损耗(dB)会变得非常大,因此必须考虑其他方案。一种替代方案是使用有源铜,它会在特定距离间隔处增加信号放大器,以保持信号的可用性。有源铜在某些方面与硅光子技术类似,后者也需要额外的电力来驱动激光器。
但有源铜缆还有另一个缺点:线缆尺寸。Shainer 表示,有源铜缆的传输距离超过 50 米后,线缆尺寸就会变得像消防水带一样粗。“有源铜缆其实没什么意义,”他告诉HPCwire。
硅光子技术的应用方式也多种多样。目前,大多数硅光子技术都采用可插拔收发器,其本质上是沿网络线路部署的激光器,能够将电信号转换为光信号,反之亦然。英伟达已经推出了一系列可插拔收发器,用于其以太网和InfiniBand横向扩展交换机,即LinkX产品线。
虽然可插拔收发器技术具有一些优势,但人工智能的蓬勃发展正促使计算机制造商采用共封装光学器件 (CPO) 技术,该技术将激光收发器直接集成到芯片上。在 CPO 设置中,收发器直接连接到 NVLink 交换机核心 ASIC 的 SerDes(串行器/解串器),或者连接到 GPU 或其他 XPU 本身的 SerDes。
英伟达首席执行官谢纳表示,英伟达已经开始出货采用CPO技术的Quantum-X InfiniBand交换机,并计划在第三季度末开始出货采用CPO技术的Spectrum-X以太网交换机。随着2028年费曼级GPU的问世,英伟达将迈出下一步,把CPO技术直接集成到NVLink交换机中,这将使公司能够构建庞大的NVL1152系统。该系统表面上将以可扩展的方式连接16个采用硅光子技术的NVL72(尽管如前所述,转向800V直流MGX架构可能会提高计算密度,从而减少实现1152个GPU所需的机架数量)。
虽然很明显英伟达正在转向采用 CPO 和硅光子技术,但英伟达究竟如何使用这项技术来构建 NVL1152 的许多架构细节仍在商榷中。
“目前,在横向扩展方面,我们将使用与交换机和交换网络集成的共封装光模块。在纵向扩展方面,我们将把它用于NVLink网络,”Shainer说道。“它可以部署在交换机上,也可以部署在其他设备上。GPU的连接方式多种多样。我们目前还没有透露具体方案,因为我们还在研究中。但NVLink交换网络显然会采用共封装光模块,因为我们需要将多个机架连接在一起。”
使用 NVL1152 的 NVLink 机架间连接显然将采用硅光子技术,但英伟达可以选择保持每个机架内部的通信完全采用铜缆。“NVL1152 的设计方案还有待确定,”Shainer 说,“现在讨论这个问题还为时过早。”
正如黄仁勋在GTC主题演讲中简要提及的那样,英伟达正准备推出Feynman架构的重大变革,该架构将采用芯片堆叠技术和定制的HBM显存。除了GPU之外,英伟达还将推出新版Groq LPU,即可插入NVLink的LP40。Vera CPU的后续产品将被命名为Rosa。此外,英伟达还在研发BlueField-5 DPU和CX10 SuperNIC。NVLink 8.0 CPO也在产品路线图上。
英伟达正与众多合作伙伴携手开发其硅光子产品。该公司采用台积电的紧凑型通用光子引擎(COUP)平台,将光连接直接集成到先进芯片封装中。上个月,英伟达分别向两家光子公司Lumentum 和 Coherent投资了 20 亿美元。此外,还有许多其他硅光子厂商也获得了英伟达的投资,但尚未公开宣布。
黄仁勋在GTC主题演讲中表示:“对于我们生态系统中的所有参与者来说,我们需要更多的产能。我们需要更多的铜缆产能,我们需要更多的光缆产能,我们需要更多的CPO产能。”
Shainer表示,英伟达正在与至少20家硅光子生态系统合作伙伴开展合作,涵盖光纤、光纤阵列、激光器和封装等领域。不同的芯片需要不同的光子连接。
Shainer表示,将硅光子器件连接到高基数以太网交换机的方式未必适用于网卡或GPU。有些设计可能需要将收发器直接集成在芯片上,而另一些应用则可能更适合将收发器放置在芯片之外或附近,这种方法被称为近封装光(NPO)。
他表示,台积电的COUP技术将在系统整体协同工作的设计中发挥关键作用。“我们希望开发一种新的封装,能够容纳这些光学引擎,并能进行规模化验证,最终实现所需的性能,”Shainer说道。“硅片本身是相同的,但封装方式不同,因此我们能够真正容纳这些光学引擎。”
若您对硅光SiGe技术及流片相关话题有更多探讨需求,欢迎添加微信深入交流。

点这里👆加关注,锁定更多原创内容
*免责声明:文章内容系作者个人观点,半导体芯闻转载仅为了传达一种不同的观点,不代表半导体芯闻对该观点赞同或支持,如果有任何异议,欢迎联系我们。
推荐阅读

喜欢我们的内容就点“在看”分享给小伙伴哦~![]()

