8大国产AI芯片火速适配DeepSeek-V4！华为百度阿里全吻上来了

昇腾950超节点实现DeepSeek V4-Pro 20ms和DeepSeek V4-Flash 10ms低时延推理。这得益于昇腾950代际底层架构的三大升级：

首先是原生精度加速，其全面支持FP8、MXFP8、MXFP4等数据格式，在保证模型精度的同时，可实现内存占用降低50%+，计算能力翻倍。

其次是稀疏访存优化，针对MoE模型的离散访存特征，他们通过大幅提升硬件级稀疏访存能力，解决了专家路由过程中的带宽瓶颈。

最后是Vector与Cube共享Memory，其采用创新存储架构设计，实现了向量单元（Vector）与矩阵单元（Cube）的Memory共享，消除大量片上数据搬运开销，降低了端到端推理时延。

华为与DeepSeek联合定义了昇腾超节点架构，专门解决大模型超长上下文推理的时延高、吞吐低、成本贵三大痛点，同时能做到万卡级大规模扩展，并靠NAND SSU做低成本大容量KV Cache，支撑4K～1M全长度长序列应用。

此外，昇腾CANN还推出PyPTO编程范式，解决自定义算子开发门槛高、周期长的痛点。该范式提供完善的Python API，使开发者能够以符合Python习惯的语法进行算子开发。

PyPTO编程范式有四大特点：

首先是高效的算子开发，PyPTO依托内置高级编译优化，可自动完成流水编排与内存管理，使开发者无需关注硬件细节而专注于计算流表达，实现DeepSeek-V4新一代模型算子开发周期可缩短至天级。

其次是高性能Kernel自动生成，针对Attention、Compressor、mHC等复杂逻辑算子，PyPTO可自动生成高度优化的Kernel，避免开发者手动处理繁琐的同步与数据搬运，缩短从算法验证到部署落地的开发周期。

第三是PTO ISA虚拟指令集跨代兼容，PyPTO基于PTO虚拟指令集（PTO ISA），实现了对硬件新特性的“零感适配”，针对不同代际芯片统一指令接口，同一套算子代码可在不同代际芯片上的兼容实现。

其借助毕昇编译器的VF（Vector Fusion）自动融合能力，可在micro kernel级别实现更优融合。

最后是TileLang社区生态，TileLang-Ascend是TileLang针对华为昇腾平台深度优化的实现，分别对应Tilelang-Ascend的Expert和Developer开发模式，提供AscendC基础指令和PTO AS两种对接层次，为各种编程前端语言和编译器提供多层开放接口。

DeepSeek-V4模型相关实现已在TileAI开源社区正式发布，后续将持续推进性能优化与功能迭代。

DeepSeek-V4模型发布后，寒武纪、华为昇腾、海光信息、摩尔线程火速官宣适配，拉开国产AI芯片支持DeepSeek系列模型的大幕。

1、寒武纪

寒武纪基于vLLM推理框架完成对DeepSeek最新开源模型285B DeepSeek-V4-flash和1.6T DeepSeek-V4-pro适配，适配代码已开源到GitHub社区。

2、华为

华为昇腾超节点全系列产品支持DeepSeek-V4系列模型。基于DeepSeek-V4-Pro模型，在8K输入场景，昇腾950超节点可实现TPOT约20ms时单卡Decode吞吐4700TPS。DeepSeek-V4-Flash模型，8K长序列输入场景下可实现TPOT约10ms时单卡Decode吞吐1600TPS（注：上述Benchmark数据均基于Offine推理模式采集，不包含Serving调度和框架负载均衡影响）。

基于昇腾A3 64卡超节点结合大EP模式部署，DeepSeek-V4-Flash模型，8K/1K输入输出场景，基于vLLM推理引擎可实现2000+TPS的单卡Decode吞吐。针对DeepSeek V4-Pro模型，昇腾A3正同步支持推理部署，性能持续优化中。