单击上方“图灵人工智能”，选择“星标”公众号

您想知道的人工智能干货，第一时间送达

图 1｜国产计算卡从芯片、板卡、集群走向 AI 基础设施

2018 年，国产云端 AI 芯片的发布会最爱谈 TOPS：谁先突破百 TOPS，谁接近 NVIDIA 的某款产品，往往就占据标题。

到了 2026 年，大模型已把计算单位推向八卡服务器、数百卡超节点和万卡集群。纸面算力再高，若显存装不下模型、卡间通信太慢、算子缺失，或者训练几天便因故障中断，也无法变成稳定算力。

因此，国产计算卡不能用一份厂商名单概括，更不能简单换算成“相当于 A100 或 H100”。它要逐级跨过这些工程门槛：

过去十余年，国产计算卡已跨过前几道门槛，部分产品开始批量部署。先进制造、HBM、高速互联、软件和大集群工程，仍决定着它的上限。本文聚焦数据中心训练卡与推理卡，梳理其发展、产品、差距与下一步方向。

1. 数据中心计算卡与消费显卡的区别

日常语言里的显卡，通常要连接显示器、运行游戏、处理图形渲染。数据中心计算卡则不一定有视频输出接口，它更关心矩阵乘法、向量运算、显存容量、卡间互联、虚拟化和长时间稳定运行。

图 2｜消费显卡与数据中心计算卡关注点对比

一块计算卡通常包括以下部分：

• 计算芯片：GPU、NPU、MLU、DCU、GCU 等不同架构的处理器；
• 板载存储：HBM（高带宽存储器）、GDDR 或 LPDDR，用于存放权重、激活值和 KV Cache；
• 主机接口：通常是 PCIe，也可能采用 OAM 这类服务器加速器模组规范；
• 卡间互联：用于同一服务器或超节点内高速交换数据；
• 驱动和运行时：让操作系统能够识别、调度设备；
• 编译器、算子库和通信库：把 PyTorch 等框架中的模型转换为硬件可执行任务。

“国产”也有层次。芯片架构和软件栈可以自主设计，晶圆制造、先进封装、HBM、EDA 与 IP 却可能来自不同供应链。判断自主程度，需要分别看设计、制造、封装、存储和软件；“全国产”或“非国产”的简单标签解释不了这些差别。

2. GPGPU 与专用 AI 加速器是两条主要路线

国产云端计算卡大致有两条路线。

图 3｜GPGPU、专用 AI 加速器与训练、推理负载的关系

GPGPU 路线保留较强的通用并行计算能力和较完整的数据格式，覆盖 AI 训练、推理、科学计算与数据处理。海光、壁仞、天数智芯、沐曦、摩尔线程等大体属于这一方向。

专用 AI 架构，也称 DSA 或 NPU 路线，围绕神经网络和张量计算设计指令、存储与数据流，以专用化换取能效。DSA 是 Domain-Specific Architecture 的缩写。华为昇腾、寒武纪、燧原等更接近这一路线。

名称不决定优劣。GPGPU 不会天然兼容 CUDA，NPU 也不只会运行一种模型。比较时要看硬件优化了哪些数据流、软件能否跟上模型变化，以及迁移成本多高。

3. 训练卡与推理卡为什么会分化

训练包含前向传播、反向传播和参数更新，可能持续数天甚至数月，更看重低精度矩阵吞吐、显存、高速互联、数值稳定性与故障恢复。推理只做前向计算，却要兼顾首字延迟、每秒 token、并发、模型容量和能耗。长文本还需保存 KV Cache，也就是历史 token 的键和值张量缓存。

可以把大模型服务成本粗略写成：

分母是满足正确率与延迟要求的有效 token，而非理论 TOPS。推理卡常借助 INT8、INT4、FP8、FP4、视频编解码和虚拟化降低成本；训练卡更看重 BF16/FP16/FP8、集合通信与集群可靠性。“训推一体”日渐常见，但同一芯片在两类负载上的最佳配置仍可能不同。

1. 早期积累来自图形、超算与并行计算

中国很早就开始研究图形芯片、DSP、FPGA、超级计算机和专用处理器，但未能立即形成类似 CUDA 的数据中心平台。高端 GPU 除了大规模数字电路，还依赖先进工艺、高带宽存储、驱动、编译器、数学库、服务器和开发者生态。

图 4｜2014—2019 年国产 AI 计算架构从体系结构研究走向云端产品化

深度学习兴起前，国内高性能计算主要依靠 CPU 集群、国外加速卡或定制处理器。图形 GPU 企业先解决桌面显示、图形 API 和驱动；AI 芯片团队则绕过图形流水线，直接面向神经网络的常见计算模式设计处理器。

两条路线后来都进入数据中心，也都要解决显存、互联、软件和运维问题。

2. “寒武纪”论文把神经网络加速器推向体系结构研究中心

2014 年，中科院计算所团队在 ASPLOS 发表 DianNao 论文，提出面向机器学习的高吞吐、小面积加速器；随后又扩展出 DaDianNao、ShiDianNao、PuDianNao 等研究。2016 年的 Cambricon 工作进一步提出面向神经网络的指令集架构，把标量、向量、矩阵、逻辑、访存和控制指令组织到一个可编程体系中。^[1][2]

这些论文没有直接变成今天的某张商用卡，却验证了两件事：专门的数据通路和存储结构可以提高张量运算能效；芯片仍需指令集和软件工具适配不同模型，不能把固定算法焊死在硬件里。

2016 年成立的寒武纪把这条学术路线带入商业市场。2018 年发布的 MLU100 被中国科学院称为国内首款云端人工智能芯片，面向视觉、语音和自然语言处理。^[3] 国产 AI 芯片由此走向数据中心板卡。

3. 2018 至 2019 年：国产云端 AI 芯片集中亮相

2018 年，华为发布全栈全场景 AI 战略和昇腾 310、昇腾 910。昇腾 310 面向低功耗推理，昇腾 910 面向训练；芯片之上还有 CANN、MindSpore、ModelArts 和 Atlas 硬件。华为在 2019 年正式发布昇腾 910 时公布的 FP16 峰值为 256 TFLOPS、INT8 峰值为 512 TOPS、最大功耗 310W。^[4]

同一时期，寒武纪由 MLU100 延伸至思元 270、思元 290；2018 年成立的燧原在次年发布第一代邃思芯片，并建设 GCU-CARA 架构和 TopsRider 软件平台。大型 ICT 企业把芯片嵌入云、服务器和行业方案，专业芯片公司则聚焦加速器与开发工具。

此时，部分精度的峰值已能与 NVIDIA 对比，产业仍在解决“能不能跑”。主流负载是 ResNet、BERT、推荐和语音模型，单机及多卡适配比万卡稳定性更迫切。软件工作的重点，是迁移 TensorFlow、Caffe 和早期 PyTorch 模型。

1. 2020 至 2021 年：训练、推理和通用计算开始分线

进入 2020 年代，国产厂商开始形成云端训练、云端推理、边缘推理和开发平台等产品组合。

图 5｜2020—2022 年国产计算卡从单一芯片走向训练、推理和通用计算产品线

寒武纪先后推出思元 270、290 和 370。思元 370 使用 MLUarch03 架构与 chiplet，形成 S4、X4、X8 等板卡。双芯 MLU370-X8 配备 48GB LPDDR5，FP16/BF16 为 96 TFLOPS、FP32 为 24 TFLOPS、INT8 为 256 TOPS，功耗 250W，MLU-Link 双向聚合带宽 200GB/s。^[5] 它已覆盖 BF16 和多卡互联，显存类型、容量与带宽仍落后于同期高端 HBM 产品。

海光从高端 CPU 向 DCU 扩展，深算一号于 2021 年商业化，采用通用并行计算和全精度路线。公开文件将 DCU 定义为 8000 系列通用协处理器，覆盖双精度、单精度、半精度和整数计算，并以 DTK 衔接 PyTorch、PaddlePaddle 等框架。^[6] 对科学计算、金融、能源等已有大量软件的用户，这能减少代码重写。

天数智芯在 2021 年发布云端训练 GPGPU 天垓 100，次年以智铠 100 补上推理产品。公司称，天垓 100 的系统架构、指令集、核心算子和软件栈均为自主研发；智铠 100 支持 FP32、FP16 和 INT8 混合计算，DeepSpark 社区负责适配与评测。^[7]

燧原以邃思 1.0、2.0 和 2.5 推进训练与推理。上市申报文件显示，第一代云燧 T1x 训练卡支持千卡集群；第二代 T2x 采用 300W 卡或 OAM 模组，i2x 推理系列采用约 150W PCIe 卡。^[8]

至此，厂商开始用不同功耗、板型和精度覆盖数据中心、边缘及行业场景，服务器厂商也有了适配整机。

2. 2022：BR100 把通用 GPU 的单芯片规模推到新高度

2022 年，壁仞发布 BR100 系列通用 GPU。其公开发布信息显示，BR100 采用 7nm、chiplet 与 2.5D 封装，配备 64GB HBM2e，并支持 PCIe 5.0、CXL 和自研 BLink 互联；壁砺 104 则采用更易部署的 PCIe 形态。^[9]

图 6｜Chiplet 与全功能 GPU 路线面对的规模、良率与通用性取舍

BR100 因峰值算力受到关注。更实际的进展是，国产团队开始同时设计超大规模芯片、chiplet、HBM、先进封装、多精度、卡间互联、虚拟化和软件栈。壁仞还参与了 2022 年 MLPerf Inference v2.1 提交，进入标准化工作负载的公开比较。^[10]

峰值发布与规模供货之间，还隔着制造和交付。2022 年后，美国不断调整先进计算芯片、半导体设备和相关实体的出口管制。美国商务部 2022 年规则覆盖先进计算与超级计算用途，2023 年增加限制和实体清单项目，2024 年又将部分 HBM 纳入控制。^[11][12] 供应链由此进入芯片架构与产品路线的决策范围。

3. 同期出现的“全功能 GPU”路线

摩尔线程选择了另一种较宽的产品边界：用统一的 MUSA 架构同时覆盖图形、AI、科学计算和视频处理。面向数据中心的 MTT S4000 配备 48GB 显存、768GB/s 显存带宽和 MTLink，支持 FP64、FP32、TF32、FP16、BF16 与 INT8；其 MUSA 软件栈包括编程模型、驱动、运行时、计算库和通信库，并提供 CUDA 迁移工具。^[13]

“全功能”让同一架构进入桌面、工作站、云渲染和智算中心，有利于扩大市场与开发者群体，代价是芯片和驱动更复杂。面对 NVIDIA 数十年的图形与计算生态积累，新公司同时补齐所有环节，需要持续投入。

1. 为什么 2023 年以后单卡排名越来越失真

大模型会放大计算卡的每处短板。模型权重可能占据数百 GB，训练还要保存梯度、优化器状态和激活值；长上下文推理持续增加 KV Cache；MoE 模型频繁交换专家数据。显存和通信跟不上，矩阵单元再快也只能等待。

图 7｜有效算力取决于峰值、算子、存储通信、稳定性和资源利用率的共同作用

真实有效性能可以近似理解为：

任何一项效率过低，峰值都兑现不了。数千卡集群还要处理并行策略、调度、坏卡隔离、断点续训、网络拥塞、存储供数、供电和冷却。GPU 只是系统中最醒目的部件。

2. 华为昇腾：用“超节点”弥补单芯片与供应约束

华为的特点是系统布局完整。昇腾 910 之后，910B、910C 逐步进入训练与推理部署；华为还维护 CANN、Ascend C、MindSpore、集合通信、Atlas 服务器和云服务。

2025 年推出的 Atlas 900 A3 SuperPoD，最大连接 384 颗昇腾 910C，通过灵衢互联实现统一内存编址。华为公开规格给出 48TB 片上内存、单芯片最高 128GB 和 3.2TB/s 内存带宽、784GB/s 双向 D2D 带宽，以及约 300 PFLOPS FP16 的系统算力。^[14]

在无法单靠最先进制程提高单芯片性能时，华为以更多芯片、更大互联域和系统协同换取可用算力。到 2026 年 7 月，华为称已部署 750 多套 384 卡超节点，并展示 1024 卡 Atlas 950 SuperPoD，公开指标包括 1 EFLOPS FP8、2 EFLOPS FP4 和 256TB 全局统一编址内存；CANN 社区同时扩大开源范围。^[15]

图 8｜2026 世界人工智能大会展出的昇腾 950 超节点 Atlas 950 SuperPoD 真机；资料来源：华为官网

更多芯片意味着更多机柜、线缆、交换设备、耗电与故障点。互联、调度和容错若不够高效，规模扩张会吞掉计算收益。因此，“以系统补单芯片”绝非简单堆数量。

3. 沐曦、燧原、摩尔线程开始进入集群化交付

沐曦曦云 C500/C550 采用训推一体 GPGPU 路线。C550 配备 64GB HBM2e，OAM 形态最大功耗 450W，以 MetaXLink 实现八卡全互联；MXMACA 用于兼容主流框架和 GPU 编程生态。招股书将 C500/C550 的 FP16/BF16 峰值放在 A100 区间，并称国内整体多处于 A100 代际，少数产品借助先进封装缩小与 H100 的距离。^[16][17]

燧原将第三代邃思 320 用于 S60 推理卡，随后推出基于第四代邃思 400 的 L600 训推一体模组。申报材料显示，L600 支持 FP8，功耗 700W，单层最多 128 卡全互联，面向万卡及以上集群；配套还有燧池智算、异构调度和运维平台。^[8]

摩尔线程把 S4000、八卡服务器、KUAE 集群管理平台和 ModelStudio 组合成交付方案。公司称 S4000 千卡训练线性加速比超过 91%，这个数字仍需结合模型、网络、并行策略和基线理解。到 2026 年，产品继续向 S5000 与更大集群演进。^[13]

图 9｜摩尔线程 MTT S4000 大模型智算加速卡官方产品图；资料来源：摩尔线程官网

国产厂商的交付物由 PCIe 卡扩展到计算节点、集群和软件。客户购买的是能上线业务的基础设施，芯片参数只是其中一部分。

图 10｜国产计算卡主要厂商、架构路线、软件栈和交付形态图谱

下表不做排名，只列各家技术路线和阶段。年份以公开发布或量产信息为准，未完全公开的参数不作猜测。

1. 华为：强项在于把卡放进完整 ICT 系统

华为可以同时调动服务器、网络、存储、云、编译器、框架、销售和服务体系。对运营商、金融、政务、制造和能源客户而言，这会减少从实验室验证到生产部署的协调成本。

规模也带来压力：软件兼容性仍需改善，超节点要求更高可靠性和能源密度，先进制造与 HBM 供给仍影响迭代。2025 年底以后 CANN 和 Mind 系列扩大开源，但生态成熟度还要看上游框架合并速度、算子覆盖、文档、问题响应和第三方支持，不能只数开源代码。

2. 寒武纪：从科研先发走向商业兑现

寒武纪源自体系结构研究，也较早形成端、边、云产品线。经历客户结构变化、高研发投入和收入波动后，公司 2025 年营业收入达到 64.97 亿元，并首次实现年度盈利。^[18] 这说明已有国产 AI 芯片企业越过样片和小批量验证，开始以规模收入支撑研发。

图 11｜寒武纪 MLU370-X8 智能加速卡官方产品图；资料来源：寒武纪官网

一家公司的盈利不能代表整个行业成熟。产品与客户集中度、持续迭代和软件投入仍需观察。寒武纪还需证明，新一代产品能在更多客户、更长周期和更大集群中保持性能与供货。

3. 海光：生态兼容优先于发布会峰值

海光 DCU 的辨识度来自 GPGPU 和既有软件生态兼容。2025 年半年度报告称，DCU 已适配 LLaMA、GPT、BLOOM、ChatGLM、文心一言、通义千问等模型，并支持 AI 与科学计算。^[6]

这套策略适合已有大量 C/C++、HIP/ROCm 类代码、科学计算库和行业应用的用户。评价 DCU 不能只看某个 AI 精度，还要看全精度性能、编译器、数学库、CPU 与 DCU 协同及整机生态。若市场快速转向极低精度大模型推理，海光还需强化张量计算、显存与互联。

4. 初创 GPU 厂商：技术突破之后，考验是连续产品节奏

壁仞、天数智芯、沐曦、摩尔线程等已做出复杂 GPGPU、编译器和互联，也能运行主流模型。接下来的考验是：能否每隔一到两年推出新产品，驱动和库能否向后兼容，供应链变化时能否迅速重构，客户会不会因一次迁移被锁在短命平台上。

图 12｜沐曦曦云 C500/C280 通用 GPU 官方产品外观；资料来源：沐曦开发者文档

沐曦称其产品累计销量超过 2.5 万颗，C500 已进入多类智算平台；摩尔线程 2025 年营业收入约 15.1 亿元，2026 年上半年约 17.36 亿元，亏损明显收窄。^[19][20] 燧原申报材料显示，2025 年 AI 加速卡及模组销量为 6.6 万张。^[21] 统计口径不同，不能据此排名，但行业已从小批量验证进入更大规模交付。

图 13｜天数智芯天垓 100 云端训练卡官方产品图；资料来源：天数智芯官网

1. 已经可用，但规模化能力仍不齐

国产计算卡早已不是“完全不能用”。多家厂商已完成芯片、板卡、服务器、驱动、编译器和框架适配，视觉、语音、推荐、大模型微调及推理任务可以上线，多个行业已有部署。上交所对 2026 年半年报的综述称，海光、寒武纪等四家代表性科创板企业合计收入 181.55 亿元，同比增长 82.2%，并在布局超节点和万卡集群。^[22]

图 14｜国产计算卡从芯片点亮走向规模交付；市场份额需区分出货量、销售额和已部署算力

但“能跑”不等于可以全面替代。前沿大模型预训练需要数千至数万张卡长期协同，同时考验硬件、框架、网络、存储和运维。国产平台在部分客户与模型上已进入千卡乃至更大集群，公开、可复现、跨厂商的标准化成绩仍不足。普通企业更适合先做推理、微调、行业模型和可控规模集群，再逐步扩大训练。

2. 市场份额正在上升，但统计口径很容易制造误解

燧原科技 2026 年申报文件援引 IDC 数据称，2025 年中国 AI 加速卡出货约 400 万张，其中 NVIDIA 约 220 万张，占约 55%。^[21] 这一口径把高端训练卡、低功耗推理卡和不同形态产品都按“张”计算，不能直接代表收入、有效算力或训练能力份额。

供应不确定、国产化需求和大模型推理扩张，让更多客户愿意为第二供应源投入迁移成本，也给了厂商在真实负载中改进软件的机会。客户是否复购，最终仍取决于性能、成本和服务。

3. 软件从“框架能启动”进入“全栈优化”阶段

早期适配常把“PyTorch 能安装、模型能输出正确结果”当作完成。生产环境需要的远不止这些：

图 15｜国产计算平台从硬件、运行时、通信库、算子库、编译器到框架的全栈优化闭环

• 驱动、运行时和编译器；
• BLAS、FFT、随机数、稀疏计算等数学库；
• 深度学习算子库和融合算子；
• PyTorch、PaddlePaddle、TensorFlow、JAX 或其他框架后端；
• 集合通信库和拓扑感知优化；
• Megatron-LM、DeepSpeed、FSDP、vLLM 等训练推理框架；
• 量化、KV Cache、MoE、投机解码与 P/D 分离；
• 容器、Kubernetes、虚拟化、监控和故障诊断；
• 模型库、文档、社区和版本兼容策略。

国产厂商已从逐模型适配转向建设公共软件层。沐曦公开 MXMACA 文档和部分生态，壁仞社区提供 PyTorch、DeepSpeed、Megatron、通信与运维工具，海光以 DTK 连接通用计算软件，华为扩大 CANN 开源，摩尔线程维护 MUSA SDK。^[23][24]

碎片化是当前的突出问题。各家有自己的工具、设备接口、通信库和性能分析器，开发者不得不重复学习与移植。兼容 CUDA 能降低第一步成本，却不会自动带来其长期积累的边界行为、性能调优和第三方支持。相比维护私有分叉，进入 PyTorch、Triton、vLLM、OpenXLA 等上游社区更重要。

4. 制造、HBM 与先进封装仍决定硬件上限

AI 芯片面积、带宽和功耗都很高，依赖先进制程、2.5D/3D 封装、硅中介层、HBM 与高良率测试。chiplet 可将超大芯片拆成多个芯粒，提高良率与复用能力，但芯粒互联、封装散热、供电和软件可见性仍要解决。

图 16｜晶圆制造、HBM、先进封装、载板、供电、散热与整机交付共同决定硬件上限

HBM 将多颗存储堆叠在计算芯片附近，以宽接口提供数 TB/s 带宽。容量或带宽不足，大模型推理就会等待权重和 KV Cache。美国 2024 年规则把部分 HBM 纳入出口控制，也说明高带宽存储已成为 AI 竞争的战略部件。^[12]

供应受限时，厂商可能以成熟工艺和更大面积换性能，以 chiplet 和先进封装突破光刻版限制，增加芯片组成超节点，或用量化降低显存需求，也可能按本地供应链重新设计产品。这些办法都有代价。

5. 产业评价正在从“峰值”转向“算效”

国家数据局与相关标准组织正在推进算力并网、调度、计费、算效和算力中心评估文件。工信部 2025 年《算力互联互通行动计划》也强调不同主体、不同架构公共算力的标准化互联。^[25][26]

图 17｜算力评价从峰值转向 tokens/s、首 Token 时延、MFU、稳定性和单位电力产出

评价智算中心，不能只把所有卡的稀疏 INT8 峰值相加。还要看任务完成时间、模型精度、MFU（模型实际运算量与硬件理论峰值之比）、每瓦 token、作业成功率、故障恢复时间、平均利用率和跨平台迁移能力。异构算力越多，统一资源描述、调度与计费越重要。

1. 峰值算力：相同的 TFLOPS 不等于相同性能

以 NVIDIA H200 SXM 为例，官方规格包括 141GB HBM3e、4.8TB/s 显存带宽、最高 700W，以及 1,979 TFLOPS 的 FP16/BF16 Tensor Core 稀疏峰值和 3,958 TFLOPS 的 FP8 稀疏峰值；若换成稠密口径，相关 Tensor Core 数值应减半。^[27]

图 18｜FP32、BF16/FP16、FP8 与 FP4 的精度、吞吐和典型场景对比

国产厂商有时公布稠密峰值，有时使用自定义精度，也可能只给芯片数字而非板卡数字。把 H200 的稀疏 FP8 与国产卡的稠密 BF16 放在一列，结论必然失真。即使精度相同，Tensor Core 调用、矩阵形状、显存和算子融合也会改变结果。

公平比较至少要固定：

1. 模型与数据集；
2. 训练还是推理；
3. 精度和稀疏设置；
4. 单卡、八卡还是多机规模；
5. 软件版本、批量和序列长度；
6. 准确率、延迟与功耗约束。

2. 存储与通信：芯片只是计算系统的一部分

大模型常先受限于显存容量，再受限于带宽。H200 的 141GB HBM3e 和 4.8TB/s 决定一张卡能装多大的模型分片、每秒读取多少权重。Blackwell 又将竞争单位扩展到 GB200 NVL72：72 颗 GPU 共享 13.4TB HBM3e，合计显存带宽 576TB/s，NVLink 域总带宽 130TB/s。^[28]

图 19｜计算芯片、HBM、Scale-Up、Scale-Out 和存储共同组成大模型计算系统

国产公开产品以 32GB、48GB、64GB 较常见，新一代开始向 128GB 及更高容量发展；卡间互联也从 PCIe 扩展到 MLU-Link、BLink、MetaXLink、MTLink、灵衢等。就公开成熟产品看，NVIDIA 在单卡显存、带宽和高速互联生态上仍有明显优势。华为以 384 卡或更大统一互联域探索另一条路，系统占地、功耗和运维复杂度也要计入成本。

3. 软件生态：CUDA 是一整套工具链

CUDA 最难复制的不是语法，而是长期协同演进的驱动、编译器、cuBLAS、cuDNN、NCCL、TensorRT、Profiler、框架后端、模型实现、开发者经验和云服务。新模型通常先在 CUDA 环境优化，出现问题也更容易找到文档与工程师。

图 20｜成熟软件生态与本地适配、稳定供货、现场服务之间的综合权衡

国产软件栈正在补齐能力，部分 CUDA 源码可通过工具迁移，常用模型也能低成本适配。但代码编译通过不等于生产性能相同，自定义算子、未公开行为、混合精度、分布式通信、内存分配和性能分析仍可能需要重写。

NVIDIA 的优势既来自技术，也来自积累时间和网络效应。如果每家公司都维护一套封闭的“小 CUDA”，开发者仍要重复迁移。厂商需要共同支持上游开源框架，开放关键接口，并在编译器与运行时内部处理硬件差异。

4. 本地市场：适配与服务同样影响选择

可获得性并非国产平台的唯一优势。厂商更靠近本地客户，可为中文模型、行业模型、国产 CPU、操作系统和服务器联合优化。在政务、金融、能源等场景，数据安全、供应连续性和现场服务都有价值。专用架构经过深度优化，也可能在特定推理任务上取得较好能效和总成本。

这些优势要由复购证明。若迁移周期过长、算子长期缺失、每次升级都要驻场修改，较低的采购价会变成更高的人力成本。本地服务最终要沉淀成产品与生态能力。

5. 产品形态：NVIDIA 也已转向机架级系统

NVIDIA 也在改变产品形态。Blackwell B200 进入 1000W 级模组，GB200/GB300 NVL72 采用整机架液冷；Vera Rubin NVL72 又将 HBM4、NVLink 6、CPU、DPU、网络和机架合为一套系统。NVIDIA 公布的初步规格为 72 颗 Rubin GPU、20.7TB HBM4、1,580TB/s 总显存带宽和 260TB/s NVLink 交换带宽。^[29]

图 21｜NVIDIA GB200 NVL72 官方机架级系统图；资料来源：NVIDIA 官网

国产卡追赶的不是一条静止的 A100 基线。NVIDIA 已将产品周期、网络、软件和供应链组织成“AI 工厂”。国产平台即使在某种精度上追平一代芯片，仍要面对下一代低精度、显存、互联和软件优化。

图 22｜比较中外计算平台时需要同时观察芯片、显存、互连、软件、集群、供货、服务和 TCO

表中的“国产整体”不代表所有厂商处于同一水平。华为侧重超节点和行业交付，寒武纪与海光已形成较大商业规模，初创公司则在 GPGPU、低精度或互联上各有进展。市场会按场景、软件、供货和成本分层，而非简单分成国产与国外两组。

1. 已经具备的能力

常见 AI 推理与行业模型已经可以规模部署。图像识别、视频分析、语音、推荐、OCR、自然语言处理和大模型推理均有落地。此类任务模型较固定、精度可量化、集群规模可控，适合国产平台做软硬协同优化。

图 23｜国产计算卡已经具备的能力与仍需补齐的工程短板

微调和中等规模训练也具备实用性。国产集群可以完成 LoRA、全参数微调、行业模型训练和部分大模型预训练，客户可从可控规模起步，逐步积累运维经验。

CPU、服务器与行业软件生态也在成形。海光 CPU+DCU、鲲鹏+昇腾，以及国产操作系统、数据库、服务器和网络设备的组合，已把国产化从单芯片推进到整机。

本地支持还是产品反馈通道。厂商与互联网、运营商、金融和科研客户联合优化，真实模型会暴露编译器、算子和通信问题。这些工程反馈比实验室峰值更有用。

2. 仍需补齐的能力

首先是先进制造与高带宽存储的稳定供给。它同时影响性能、良率、成本和迭代节奏，单个设计团队无法独立解决。

其次是大集群的利用率与可靠性。万卡方案写进手册不难，真正的门槛是连续训练数周、故障后迅速恢复，并保持数据和梯度正确。

软件还要覆盖长尾需求，包括自定义算子、边界情况、版本组合、调试工具、性能诊断和第三方应用。适配常用模型只是开始。

行业还缺少连续、公开、可比的基准。除厂商自测外，还需要更多 MLPerf 或同类标准结果，以及真实模型的准确率、功耗、延迟和成本数据。MLCommons 将训练基准定义为达到目标质量的全系统测试，而非单芯片峰值。^[30]

最后是开发者和人才密度。硬件要进入高校课程、开源项目、云平台与企业工具链，才能形成自然使用者。逐项目依靠驻场工程师移植，撑不起大规模生态。

1. 推理会成为更大的商业市场

预训练仍然重要，但多数企业不会从零训练基础模型。它们更可能购买模型服务、做微调，并在客服、办公、工业、金融、机器人和搜索中持续推理。智能体与“长思考”会让一次请求多次调用模型，视频生成和世界模型也会增加计算量。

图 24｜推理计算的 Prefill、KV Cache 与 Decode 阶段，以及 FP8、FP4 混合精度趋势

竞争指标因此扩展到首字延迟、每秒输出 token、并发、每瓦 token 和服务可用性。围绕中文模型、行业模型与私有化部署优化，国产厂商在推理侧更容易形成商业闭环。燧原 S60、寒武纪思元系列、昇腾 Atlas、天数智芯智铠等已经体现这一方向。

2. FP8、FP4 与混合精度会下沉为基础能力

低精度能同时减少计算、显存占用和数据搬运。未来不会把所有算子统一降到 4 位，而会让权重、激活、梯度、累加和敏感层使用不同格式，由编译器与运行时选择精度。

硬件支持只是起点，量化算法、缩放策略、溢出检测、数值验证和模型质量更难处理。只有配套可直接使用的量化与训练工具，“某精度峰值”才有产品意义。

3. 超节点将成为高端计算平台的基本形态

NVIDIA NVL72、华为 Atlas SuperPoD，以及国内多家厂商规划的 64、128、1024 卡互联域都说明，PCIe 服务器间的松散互联越来越难满足大模型对带宽和统一内存的需求。

图 25｜超节点的 Scale-Up/Scale-Out 层次，以及软件从兼容接口走向兼容上游

未来单卡、八卡服务器、超节点和跨机架集群会形成层次。Scale-Up 指扩大高速互联域内的设备规模，Scale-Out 指通过网络把更多节点连接成集群：

更大的 Scale-Up 域可以缓解单芯片差距，同时也要控制非阻塞交换、单跳时延、功耗和故障域。高速 SerDes、交换芯片、光互联、CXL 类内存扩展与在网计算将成为竞争点。

4. 软件生态会从“兼容 CUDA”走向“兼容上游”

短期内仍需要 CUDA 迁移工具，因为客户的代码和人才都在那里。长期目标不是逐字模仿每个 CUDA API，而是让 PyTorch、Triton、vLLM、OpenXLA、Ray、Kubernetes 等上层系统原生识别国产设备。

为此，厂商要开放编译器接口、设备运行时、通信接口和性能数据，让社区能提交代码并复现问题。国家数据局提出的异构算力池化与统一调度，也会推动应用与硬件适度解耦。^[31] 共享算子、模型和测试基础设施，可减少重复建设。

5. 芯片架构会更加异构，GPU 与专用单元长期共存

训练、预填充、解码、向量检索、视频编解码、数据预处理和网络通信各有计算特点，由一种处理器包办未必经济。服务器可能组合 CPU、GPU/NPU、DPU、视频处理器和存储加速器，甚至让大模型的 prefill（一次处理输入上下文）与 decode（逐个生成输出 token）使用不同硬件。

图 26｜异构架构、供应链塑形、电力冷却和产业分层将共同影响未来五年

GPGPU 通用、容易适配，DSA 在特定任务上更节能，两者会长期共存。国产厂商可以先在推理、视频、推荐、科学计算或行业模型中取得局部优势，不必一开始就复制 NVIDIA 的全部产品边界。

6. 供应链约束会反过来塑造架构

先进工艺、HBM 和封装的不确定性将长期存在。国产芯片会更重视：

• chiplet 拆分与不同工艺混合；
• 国产封装、基板、SerDes 和存储协同；
• 面向可获得工艺的架构优化；
• 设计复用和更快迭代；
• 在相同模型质量下减少无效计算；
• 用系统和软件提高每颗芯片的利用率。

本地替代材料、设备和工艺仍要通过良率、可靠性与量产周期验证。厂商需要准备多套供应方案，并为产品迭代留出空间。

7. 电力和冷却将参与“芯片选型”

当单模组功耗达到 700W、1000W，整机架走向百千瓦，计算卡就不能与机房分开讨论。供配电、液冷、冷却水温、机柜承重、消防、备电和并网容量都会影响设备上线。NVIDIA GB300 NVL72 官方参考架构给出的整架功率最高约 142kW，已接近连续工业负荷。^[32]

国产超节点面对同样的问题。华为 Atlas 900 A3 由 12 个计算柜和 4 个总线设备柜组成，计算柜采用液冷；燧原 L600、沐曦 OAM 和后续高功耗产品也需要系统级散热。采购应从“元/卡”改按下式计算：

工信部在新型数据中心行动计划中已把算力、网络、绿色低碳和安全可靠放在同一体系；全国一体化算力网又强调不同地区的能源、网络和任务协同。^[33][34]

8. 行业将从“百卡争鸣”走向分层与整合

计算卡需要长期投入和维护，市场很难容纳大量彼此不兼容的小平台。少数公司可能成为通用平台，部分公司专攻推理或行业市场，另一些则通过并购、授权、转向 IP 或退出完成整合。

资本市场能提供研发资金，不能替代产品竞争。2025 至 2026 年，多家国产 GPU/AI 芯片企业进入上市或申报阶段，财务和业务信息更透明，市场开始关注收入、毛利、客户集中度、研发强度和现金流。能否同时站稳技术与商业，将决定厂商能走多远。

1. 先定义任务

先明确任务是训练、微调、批量推理还是低延迟在线推理，再列出模型参数量、精度、上下文长度、并发量和数据类型。视频模型要看编解码瓶颈，科学计算则要检查 FP64、数学库和 MPI 生态。

图 27｜企业选型五步法：明确任务、端到端测试、检查软件生命周期、按集群和 TCO 签约、保留可迁移性

2. 用自己的模型做端到端测试

不要只运行厂商准备的 ResNet 或矩阵乘法。用真实模型、输入长度与并发测试，并记录：

• 单卡和多卡吞吐；
• 首字与逐 token 延迟；
• 显存占用与带宽瓶颈；
• 准确率或业务质量变化；
• 八卡到多机的扩展效率；
• 功耗、温度和降频；
• 连续运行与故障恢复；
• 从现有 CUDA 环境迁移的人日。

3. 检查软件生命周期

确认驱动、框架、操作系统和容器的版本矩阵，询问新 PyTorch、新模型及新算子的支持周期，验证调试器、Profiler、监控和升级回滚，并检查第三方社区活跃度。软件若两年不更新，便宜的硬件也可能变成技术债务。

4. 以集群和业务成本签合同

采购指标要写入模型吞吐、延迟、可用率、功耗和迁移验收，不能只列芯片型号。大集群还应明确网络、存储、备件、坏卡率、故障定位、软件升级和驻场责任。算力租赁则要区分“理论算力时”和“任务可用时”。

5. 保留可迁移性

无论选择 NVIDIA 还是国产平台，都不要让业务逻辑深度绑定某个私有接口。优先使用上游框架、标准模型格式、容器与可替换的推理服务层，并为关键模型保留第二硬件后端的持续集成测试。多供应商会增加短期工程成本，也会降低长期供应和定价风险。

国产计算卡大致走过四个阶段：

• 2010 年代前半段，体系结构研究和图形、超算积累证明专用并行计算的可能；
• 2018 年前后，MLU100、昇腾 310/910 等云端 AI 芯片把国产方案带进数据中心；
• 2020 至 2022 年，海光 DCU、思元 370、天垓 100、云燧、BR100 等产品形成训练、推理和 GPGPU 多条路线；
• 大模型时代，竞争又从单卡升级为超节点、万卡集群、软件生态和算力基础设施。

国产平台已有芯片架构、板卡、软件栈、服务器和行业部署，部分企业进入规模化收入与盈利阶段。先进制造、HBM、单卡性能、互联成熟度、标准基准和开发者生态仍有差距。NVIDIA 也已从 H100/H200 走向 Blackwell 与 Rubin 机架级系统，追赶目标还在移动。

一次“超过某张 NVIDIA 卡”的发布会证明不了突破。真正有说服力的是，新模型发布当天就能运行，开发者无需驻场工程师也能迁移，千卡集群可以连续训练数周，硬件按期交付，客户因为成本与服务主动复购，软件还能跨代升级。

计算卡要把电力、硅片、存储、网络和软件稳定地转化为训练结果与有效 token。国产平台已经从“有没有”走到“能不能用”，下一步要在真实业务中做到稳定、好用、经济，并保持长期迭代。

[1] Tianshi Chen 等, “DianNao: A Small-Footprint High-Throughput Accelerator for Ubiquitous Machine-Learning”, ASPLOS 2014。https://users.cs.duke.edu/~lkw34/papers/diannao-asplos2014.pdf

[2] Shaoli Liu 等, “Cambricon: An Instruction Set Architecture for Neural Networks”, ISCA 2016。https://doi.org/10.1109/ISCA.2016.42

[3] 中国科学院，“寒武纪发布国内首款云端人工智能芯片”，2018-05-16。https://ecas.cas.cn/xxkw/kbcd/201115_126581/ml/xxhjsyjcss/201805/t20180516_4937362.html

[4] Huawei, Annual Report 2019, Ascend 310/910 与 CANN 说明。https://www-file.huawei.com/-/media/CORPORATE/Local-site/mx/pdf/2019_Huawei_Annual_Report.pdf

[5] 寒武纪，“MLU370-X8 智能加速卡”。https://cambricon.com/index.php?a=lists&c=index&catid=406&m=content

[6] 海光信息，《2025 年半年度报告》。https://star.sse.com.cn/disclosure/listedinfo/announcement/c/new/2025-08-06/688041_20250806_XTRO.pdf

[7] 天数智芯，产品与技术介绍。https://www.iluvatar.com/product/

[8] 燧原科技，《首次公开发行股票并在科创板上市招股说明书（申报稿）》，2026。https://static.sse.com.cn/stock/disclosure/announcement/c/202604/002175_20260416_BH8W.pdf

[9] 壁仞科技，BR100 系列与公司产品资料；电子工程专辑发布会技术整理。https://www.birentech.com/csr-article/gblwq16edn07xrb9pjky963s/https://www.eet-china.com/news/202208101015.html

[10] MLCommons, “MLPerf Results Show Advances in Machine Learning Inference”, 2022-09-08。https://mlcommons.org/2022/09/mlperf-results-show-advances-in-machine-learning-inference/

[11] U.S. BIS, “Commerce Implements New Export Controls on Advanced Computing and Semiconductor Manufacturing Items to the PRC”, 2022-10-07。https://www.bis.gov/press-release/commerce-implements-new-export-controls-advanced-computing-semiconductor-manufacturing-items-peoples

[12] U.S. BIS, “Commerce Strengthens Export Controls to Restrict China’s Capability to Produce Advanced Semiconductors”, 2024-12-02。https://www.bis.gov/press-release/commerce-strengthens-export-controls-restrict-chinas-capability-produce-advanced-semiconductors-military

[13] 摩尔线程，“MTT S4000 大模型智算加速卡”。https://www.mthreads.com/product/S4000

[14] 华为，“Atlas 900 A3 SuperPoD”。https://e.huawei.com/cn/products/computing/ascend/atlas-900-a3-superpod

[15] 华为，“昇腾 950 超节点真机亮相 2026 世界人工智能大会”，2026-07-17。https://www.huawei.com/cn/news/2026/7/atlas-950-superpod

[16] 沐曦，“曦云 C550”。https://www.metax-tech.com/prod.html?cid=107&id=35

[17] 沐曦，《首次公开发行股票并在科创板上市招股说明书》，2025。https://static.sse.com.cn/stock/disclosure/announcement/c/202510/002078_20251024_OAW7.pdf

[18] 上海证券交易所，“科创板多家集成电路企业披露年报，业绩亮眼景气度提升”，2026-04-13。https://www.sse.com.cn/cpc/cpctheme/4th20thcpc/4th20thcpcgcxx/c/c_20260413_10815020.shtml

[19] 沐曦，《首次公开发行股票并在科创板上市招股说明书》，产品销量与应用部分，2025。https://static.sse.com.cn/stock/disclosure/announcement/c/202510/002078_20251024_OAW7.pdf

[20] 上海证券交易所，摩尔线程 2025 年及 2026 年上半年经营数据报道。https://english.sse.com.cn/news/newsrelease/voice/c/c_20260811_10828576.shtml

[21] 燧原科技，《首次公开发行股票并在科创板上市招股说明书（申报稿）》，市场与销售数据部分，2026。https://static.sse.com.cn/stock/disclosure/announcement/c/202604/002175_20260416_BH8W.pdf

[22] 上海证券交易所，“动能向新，结构向优，业绩向好——沪市公司 2026 年半年报业绩综述”，2026-08-30。https://www.sse.com.cn/aboutus/mediacenter/hotandd/c/c_20260830_10830362.shtml

[23] 壁仞科技开发者社区，开发者文档。https://developer.birentech.com/Document_Hardware.html

[24] 沐曦开发者，“曦云系列通用计算 GPU MXMACA-C500 发布说明”。https://developer.metax-tech.com/doc/222

[25] 国家数据局，“关于征求《全国一体化算力网 算力并网技术要求（征求意见稿）》等 7 项技术文件意见的通知”，2025。https://www.nda.gov.cn/sjj/ywpd/szkjyjcss/0608/20250608181902170645120_pc.html

[26] 工业和信息化部，《算力互联互通行动计划》，2025。https://fjca.miit.gov.cn/zwgk/zcwj/wjfb/art/2025/art_25eea57dd6f840e680184fffb086883d.html

[27] NVIDIA, “NVIDIA H200 Tensor Core GPU”。https://www.nvidia.com/en-gb/data-center/h200/

[28] NVIDIA, “NVIDIA GB200 NVL72”。https://www.nvidia.com/en-us/data-center/gb200-nvl72/

[29] NVIDIA, “NVIDIA Vera Rubin NVL72”。https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/

[30] MLCommons, “MLPerf Training v5.0 Results”, 2025-06-04。https://mlcommons.org/2025/06/mlperf-training-v5-0-results/

[31] 国家数据局，《全国一体化算力网 智算中心算力池化技术要求》，2025。https://www.nda.gov.cn/sjj/zwgk/tzgg/0806/ff808081-96b465bf-0198-7e2413d5-1321.pdf

[32] NVIDIA Docs, “NVIDIA NVL72 AI Factory: System Hardware & Components”。https://docs.nvidia.com/enterprise-reference-architectures/nvl72-ai-factory/latest/components.html

[33] 工业和信息化部，《新型数据中心发展三年行动计划（2021—2023 年）》。https://www.miit.gov.cn/jgsj/txs/wjfb/art/2021/art_12cc04dc9daf4d57a7038811a57383b6.html

[34] 国家数据局，《关于深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》。https://www.nda.gov.cn/sjj/zwgk/zcfb/0830/20240830174329104216060_pc.html

文章精选：

1.图灵奖得主姚期智最新演讲： AI有边界，恰恰是好事