Aleph Alpha Kolibri 发布：面向受监管行业的自主开放权重模型

Aleph Alpha 发布了 Kolibri，这是一款开放权重的专家混合（MoE）Transformer 模型，专为公共管理、航空航天和工业制造等受监管领域的自主、关键任务应用而设计。该模型采用 Apache 2.0 许可证发布，可在 Hugging Face 上获取。

模型架构与效率

Kolibri 旨在优化高级能力与服务成本之间的权衡，使其在英语和德语的质量与吞吐量方面处于“帕累托前沿”。

  • 参数量： 总参数量 78.1B，每个 token 的活跃参数约为 3.46B。
  • 上下文窗口： 支持高达 100 万个 token 的上下文长度（训练至 256k）。
  • 注意力机制： 为保持效率，50 层中有 40 层使用滑动窗口（512 个 token），仅有 10 层处理完整上下文。
  • MoE 设计： 该模型使用了 384 个较小的专家模型，而非少数几个大型专家模型。Aleph Alpha 报告称，这在他们的内部测试中提升了性能。

双语专业化与分词

与那些以英语为中心、后续再适配其他语言的模型不同，Kolibri 从设计之初就是双语模型。

以德语为中心的训练

Aleph Alpha 专注于原生德语数据，以避免机器翻译语料库带来的“文化指纹”和翻译错误。德语数据占预训练 token 的 21.3%（约 4.3T 个 token）。这是通过以下方式实现的：

  1. 定制化整理： 重新调整德语行政文书的过滤参数，以防止意外删除官方登记册。
  2. LLM 改写： 使用 LLM 将原生德语文档改写为不同风格（例如百科全书条目），从而成倍增加了稀缺高质量数据的效用。
  3. 最小化翻译： 仅在必要时使用翻译（总体占比 6%），以保留真实的文化和制度背景。

UniBPE 分词器

Kolibri 引入了 UniBPE，这是一种结合了 BPE 自底向上方法与 Unigram 训练目标的分词器。该方法能更好地适应德语的形态，特别是其复合词结构，与标准 BPE 或其他前沿模型分词器相比，实现了更高的压缩率（每个单词对应的 token 更少）。

基础验证与幻觉减少

为了满足受监管行业的要求，Kolibri 经过专门训练，当提供的上下文中不包含必要信息时，它会拒绝回答。

Merlin-Arthur 协议

Aleph Alpha 采用专有的 Merlin-Arthur 协议 来生成合成负面示例。此过程涉及三个角色：

  • Arthur： 正在接受训练的模型。
  • Merlin： 生成增加正确答案概率的上下文。
  • Morgana： 从文档中剥离证据，诱导模型产生幻觉。

通过针对 Morgana 的删减上下文进行训练，Kolibri 学会了在缺乏证据时，拒绝回答是唯一正确的策略。这使得其在 AA-Omniscience 基准测试中的非幻觉率显著提高（Kolibri 为 44%，而 Kolibri Origin 为 14.8%）。

“模型工厂”流水线

Kolibri 的开发采用了“模型训练即代码”的方法，使 Aleph Alpha 能够在短短三个月内从上一版本 Kolibri Origin 进行迭代。

  • 自动化： 流水线通过 GitHub Actions 完全自动化；每一次代码变更都会触发一次小型端到端运行以验证稳定性。
  • 鲁棒性： 在 768 个 B200 GPU 上进行的 21 天预训练运行期间，流水线自动处理了 38 次意外的硬件或连接中断，无需人工干预。
  • 训练规模： Kolibri 总共在近 24T 个 token 上进行了训练，包括三个阶段：预训练（16k 序列长度）、中期训练（64k）和长上下文适配（256k）。

性能与基准测试

Kolibri 在数学、编码和智能体任务中表现出极具竞争力的性能，通常能媲美活跃参数量为其四倍的模型。

基准测试 Kolibri Kolibri Origin Nemotron 3 Super (120B-A12B) Mistral Small 4 (119B-A6B)
AIME 2025 96.9 81.9 91.7 79.8
GPQA (Diamond) 84.3 68.1 78.0 74.7
LiveCodeBench v6 85.9 59.2 82.0 71.2
HumanEval+ 92.7 76.8 94.7 92.8

社区见解与反方观点

虽然技术报告因其透明度而受到赞扬，但此次发布引发了关于“自主权”定义的讨论。

“自主权话题总体上需要更多关注……自托管模型只是自主权的一部分，但我们如何处理智能体栈的其余部分——嵌入、检索、记忆等？”

其他批评者指出了该公司据报道与加拿大公司 Cohere 的合并，质疑如果该公司在欧洲以外运营，“自主”声明是否仍然有效。此外，一些用户指出，虽然该模型在基准测试中表现强劲，但在德国官僚机构中的实际应用仍需谨慎，有用户报告称其未能引用最新的立法（《数字服务法》），而是引用了过时的法案。

部署

Kolibri 可在 Hugging Face 上获取，并需要 aleph-alpha-inference 包以实现 vLLM 集成。

推荐的服务命令：

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice

Sources

相关