刚刚,百度发布最新基座模型文心 5.5 Flash Base ,并已正式开源。

上次发布新模型还是5月份的文心 5.1。
5.5 Flash Base 是一个 稀疏 MoE 语言模型,总参数 280B ,每 token 激活 14B ,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K ,微调与推理支持 1M tokens 上下文。
它是Base模型,也就是预训练模型,未经中训练与后训练 。百度称开源是为了让开发者能够在已有的通用能力之上,自行选择模型下一阶段的训练方向。

百度文心还放出了 Benchmark 评测结果,称新模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中 取得同尺寸模型SOTA表现 。

图片
需要注意的是,上图对比的都是Base模型,也就是预训练模型。

对比模型有DeepSeek V4 flash、Hy3 preview、mimo V2.5, 基本都是其他家上一代模型 ,官方解释称“对比模型选取截至发布时我们能找到的、规模相近的最新开源 Base 模型”。

四个模型均基于各自公开发布的 checkpoint 评测,使用同一套评测框架、相同的 prompt 与 few-shot 样例,自由问答题则使用同一个裁判模型。

如果没记错,这也应该是 百度文心的第一个Flash模型 。

图片

百度文心表示,Base 模型只是起点。经过后训练的 ERNIE 5.5 Flash 将随后推出。

目前,ERNIE-5.5-Flash-Base 已在 Hugging Face 发布,提供 FP8 与 BF16 两种 safetensors 权重。(转载自AI普瑞斯)