Baidu ERNIE 5.5 Flash Base 发行说明

百度发布了 ERNIE 5.5 Flash Base,这是一款稀疏混合专家(MoE)语言模型,总参数量为 280B,每个 token 激活 14B 参数。本次发布提供了一个原始预训练检查点,明确排除了中期或后期训练,旨在为对领域适应、指令微调和强化学习研究感兴趣的开发者提供一个基础基准。

模型架构与效率

ERNIE 5.5 Flash 的构建重点在于平衡模型容量与计算效率。该架构采用 43 层主干网络,并包含多个专用组件:

  • 混合稀疏注意力(Hybrid Sparse Attention): 该模型采用了多头潜在注意力(MLA)和重度压缩注意力(HCA)的组合。大多数层使用 HCA 来压缩上下文,而部分层使用 MLA 来保持对完整上下文的 token 级访问,从而优化 KV-cache 预算。
  • 多路由潜在 MoE(Multi-Router Latent MoE): 该模型取代了传统的单路由 MoE 设计,使用了多个独立初始化的 sigmoid 路由器。这种方法提高了专家选择的准确性,并降低了对噪声特征的敏感度。
  • ECHO(高效上下文头部优化): ECHO 取代了标准的预测多 token(MTP)模块,它重用了主干网络的最后一层来预测未来的 token,鼓励模型在没有辅助模块开销的情况下预测序列进展。
  • 流形约束超连接(mHC): 标准残差连接被 mHC 取代,它在四个并行残差流中使用约束混合矩阵来改善信息流。

训练与数据

该模型使用 Muon 优化器和 FP8 混合精度在 33.5T token 上从零开始训练。训练流水线包含 128K 的上下文长度,并支持推理时高达 1M 的 token。预训练语料库强调高质量的网络数据、仓库级代码和长上下文序列,旨在促进推理和代理工作流。

百度还为此次发布引入了两个基础设施组件:专为大规模 GPU 集群设计的分布式 Muon 优化器,以及针对 SM90 和 SM100 架构的大头维度优化的注意力内核 FlashMask-4。

社区反响与许可

此次发布引发了关于基础模型在当前 AI 生态中作用的讨论。支持者认为,提供未对齐的基础模型对于去中心化对齐至关重要,因为它允许研究人员追求多样化的训练方法,而不是依赖单一的中心化方法。

然而,一些社区成员对许可协议提出了担忧,该协议包含对使用的地理限制。此外,尽管一些开发者认为该模型是现有开源基础模型(如 DeepSeek-V4-Flash)的强大替代品,但其他人指出,与更新、演进更快的模型系列相比,“ERNIE”品牌可能会让人感到过时。

技术规格

  • 总参数量: 280B
  • 激活参数量: 14B
  • 上下文窗口: 128K(预训练),1M(推理)
  • 词汇表: ~200K(采用从右到左数字分词的 BPE)
  • 可用性: 该模型已在 Hugging Face 上提供 FP8 和 BF16 格式。

Sources