Apertus 1.5 发布说明

概述

Apertus 1.5 是 Apertus 1.0 模型系列的重大更新，扩展了 8B 和 70B 参数模型，具备原生多模态理解能力、262,144 token 的上下文窗口，以及用于提升推理能力的思维模式（可选）。该更新采用 Apache 2.0 许可证发布，包含开放权重、训练数据以及详尽的研究文档。

关键增强

• 多模态理解： 模型现在通过早期融合（early-fusion）方法原生处理图像和音频以及文本。图像通过 Emu3.5 分词器处理，音频由 WavTokenizer 处理。
• 思维模式： 一种可选模式，允许模型在提供最终答案之前生成推理轨迹，从而显著提升在复杂推理任务上的表现。
• 扩展上下文： 上下文窗口已增加至 262,144 token，较上一代提升了 4 倍。
• 指令遵循与工具使用： 训练流程的改进带来了更好的指令遵循能力，以及与外部工具和 API 更可靠的集成。
• 透明度： 模型继续遵守 Apertus 章程，所有训练数据均已记录在案，以确保透明度和合规性。

训练流程

Apertus 1.5 的训练过程包括持续预训练，随后是多阶段的后训练流程。预训练阶段为 8B 模型增加了 4 万亿 token，为 70B 模型增加了 2 万亿 token，使用了文本、图像和音频数据的混合体。

后训练包含五个不同阶段：

1. 监督微调 (SFT)： 在 370 万个文本样本及多模态数据上进行训练。
2. 长上下文 SFT： 在完整的 262k token 窗口下进行优化。
3. 基于可验证奖励的强化学习 (RLVR)： 针对数学、代码和推理提示词进行定向训练。
4. 直接偏好优化 (DPO)： 使用评分员打分的偏好对来提升对话质量和安全性。
5. 章程对齐 (SDPO)： 通过自我蒸馏使模型输出与 Apertus 章程对齐。

评估与可复现性

Apertus 1.5 使用 Every Eval Ever (EEE) 模式来提供透明、机器可读的评估记录。这种方法旨在满足 AI 治理要求（例如欧盟《人工智能法案》中概述的要求），通过提供详细的元数据以及性能评分。与其他同等规模的开放权重模型相比，这些模型在编码、指令遵循和多语言任务中表现出极具竞争力的性能。

详细的配方、消融研究和中间检查点可通过官方 Apertus Hugging Face 合集获取，使研究人员能够复现训练结果并研究每个阶段对模型行为的影响。