摩尔线程完成美团LongCat-2.0极速适配 国产算力生态再添新突破
近日,美团正式开源新一代万亿参数大模型LongCat-2.0,同日摩尔线程官方宣布,依托旗下全功能算力产品MTT S5000与MUSA统一系统软件栈,已率先完成该大模型的快速适配,实现了在国产通用算力平台上的流畅运行,为国内大模型产业提供了自主可控的全新算力选择。
作为美团开源的新一代万亿参数大模型,LongCat-2.0在代码生成、多模态理解、本地生活场景语义处理等领域实现了显著性能升级,在公开基准测试中多项指标达到同参数级大模型的第一梯队水平,开源后迅速成为国内大模型
开发者
重点关注的核心项目。但万亿参数级别的大模型对算力平台的硬件性能、软件生态优化深度都有着极高要求,此前多数开源大模型的适配工作都需要数周甚至数月的开发周期,才能在新的算力平台上实现稳定运行。摩尔线程此次仅用极短时间就完成LongCat-2.0的全流程适配,背后是国产算力软硬件生态多年技术积累的集中体现。
本次适配的核心硬件载体摩尔线程MTT S5000,是国内首款全功能国产通用
GPU
,内置多达2048个MUSA流处理核心,单卡算力达到15
TF
LOPS FP32,搭配32GB HBM2E高带宽显存,显存带宽突破409.6GB/s,能够为万亿参数大模型提供充足的算力支撑与数据吞吐能力。依托MUSA软件栈内置的自动混合精度优化、算子融合、显存智能调度等技术,LongCat-2.0在MTT S5000平台上实现了高效的分布式部署,仅需多卡并行就能完成全参数的流畅推理,无需对模型代码进行大规模的底层修改,大幅降低了大模型在国产算力平台上的迁移门槛。
为了最大化释放LongCat-2.0的运行性能,摩尔线程的技术团队针对模型的核心算子做了深度定制优化,对美团LongCat-2.0的注意力机制、Feed Forward网络等核心计算单元进行了针对性的算子融合与硬件指令级调优,最终实现的推理吞吐率达到行业主流水平,能够同时支撑大量并发请求的实时响应,完全满足大模型在ToB行业落地、开发者二次开发等场景下的性能需求。同时适配工作完全基于原生MUSA软件生态完成,不依赖任何海外闭源工具链,全程实现自主可控,从根源上避免了供应链层面的潜在风险。
更具行业价值的是,这次极速适配进一步丰富了摩尔线程MUSA生态的大模型支持矩阵。截至目前,MUSA软件栈已经完成了国内绝大多数主流开源大模型的适配工作,覆盖从7B小参数模型到万亿级大模型的全谱系产品,形成了成熟完善的大模型迁移工具链,开发者拿到开源大模型后,依托MUSA提供的自动化迁移工具,仅需少量调整就能快速在摩尔线程算力平台上完成部署,大幅降低国产大模型的落地成本。
随着国内大模型产业的快速发展,自主可控的算力底座已经成为产业健康发展的核心支撑。摩尔线程完成美团LongCat-2.0的极速适配,不仅证明了国产通用GPU已经具备支撑顶级万亿参数大模型的全栈能力,也进一步推动了国内大模型开源生态与国产算力生态的双向融合,为国内
AI
产业的自主可控发展注入了新的动力。
开源
开源
+关注
关注
3
文章
4593
浏览量
46977
算力
算力
+关注
关注
2
文章
1935
浏览量
16978
摩尔线程
摩尔线程
+关注
关注
2
文章
309
浏览量
6762
大模型
大模型
+关注
关注
2
文章
4016
浏览量
5448
