Aleph Alpha Kolibri リリース: 規制産業向けのソブリン（主権）オープンウェイトモデル

Aleph Alphaは、公共行政、航空宇宙、産業製造などの規制産業におけるソブリン（主権）かつミッションクリティカルなアプリケーション向けに設計された、オープンウェイトのMixture-of-Experts (MoE) TransformerであるKolibriをリリースしました。このモデルはApache 2.0ライセンスの下で公開されており、Hugging Faceで利用可能です。

モデルアーキテクチャと効率性

Kolibriは、高度な能力とサービングコストのトレードオフを最適化するように設計されており、英語とドイツ語の両方において、品質とスループットの「パレートフロンティア」に位置しています。

  • パラメータ数: 合計78.1Bパラメータ、トークンあたり約3.46Bのアクティブパラメータ。
  • コンテキストウィンドウ: 最大100万トークンのコンテキスト長をサポート（256kまで学習済み）。
  • アテンションメカニズム: 効率を維持するため、50層のうち40層はスライディングウィンドウ（512トークン）を使用し、フルコンテキストを処理するのは10層のみです。
  • MoE設計: このモデルは少数の大きなエキスパートではなく384個の小さなエキスパートを利用しており、Aleph Alphaの内部テストではパフォーマンスが向上したと報告されています。

バイリンガル特化とトークナイゼーション

主に英語中心で、後に他言語に適応させたモデルとは異なり、Kolibriは設計段階からバイリンガルです。

ドイツ語中心の学習

Aleph Alphaは、機械翻訳されたコーパスに伴う「文化的指紋」や翻訳エラーを避けるため、自然なドイツ語データに焦点を当てました。ドイツ語データは事前学習トークンの21.3%（約4.3Tトークン）を占めています。これは以下の方法で達成されました。

  1. カスタムキュレーション: ドイツの行政文書のフィルタリングパラメータを再調整し、公式記録が誤って削除されるのを防ぎました。
  2. LLMによる言い換え: LLMを使用して、自然なドイツ語の文書をさまざまなスタイル（例：百科事典の項目）に書き換え、希少な高品質データの有用性を倍増させました。
  3. 最小限の翻訳: 真正な文化的・制度的文脈を維持するため、翻訳は控えめに（全体で6%）使用されました。

UniBPE トークナイザー

Kolibriは、BPEのボトムアップアプローチとUnigramの学習目的を組み合わせたトークナイザーであるUniBPEを導入しています。この手法はドイツ語の形態論、特に複合語構造をより適切に尊重するため、標準的なBPEや他のフロンティアモデルのトークナイザーと比較して、より高い圧縮率（単語あたりのトークン数が少ない）を実現します。

グラウンディングとハルシネーションの低減

規制産業の要件を満たすため、Kolibriは提供されたコンテキストに必要な情報が含まれていない場合に回答を控えるよう特別に学習されています。

Merlin-Arthur プロトコル

Aleph Alphaは、合成的なネガティブ例を生成するために独自のMerlin-Arthurプロトコルを採用しています。このプロセスには3つの役割が含まれます。

  • Arthur: 学習中のモデル。
  • Merlin: 正解の確率を高めるコンテキストを生成する。
  • Morgana: 文書から証拠を取り除き、モデルをハルシネーションに誘い込む。

Morganaの編集済みコンテキストに対して学習することで、Kolibriは証拠が欠けている場合には回答を控えることが唯一の正しい戦略であることを学びます。その結果、AA-Omniscienceベンチマークにおける非ハルシネーション率が大幅に向上しました（Kolibriの44%に対し、Kolibri Originは14.8%）。

「モデルファクトリー」パイプライン

Kolibriは「Model Training as Code（コードとしてのモデル学習）」アプローチを使用して開発され、Aleph Alphaは前バージョンのKolibri Originからわずか3か月で反復を行うことができました。

  • 自動化: パイプラインはGitHub Actionsを通じて完全に自動化されており、コードが変更されるたびに小さなエンドツーエンドの実行がトリガーされ、安定性が検証されます。
  • 堅牢性: 768基のB200 GPUを使用した21日間の事前学習実行中、パイプラインは手動介入なしで38回の予期せぬハードウェアまたは接続の中断を自動的に処理しました。
  • 学習規模: Kolibriは、事前学習（16kシーケンス長）、中間学習（64k）、長文脈適応（256k）の3段階プロセスを含め、合計で約24Tトークンで学習されました。

パフォーマンスとベンチマーク

Kolibriは数学、コーディング、エージェントタスク全体で競争力のあるパフォーマンスを示しており、多くの場合、アクティブパラメータ数が4倍のモデルに匹敵します。

ベンチマーク Kolibri Kolibri Origin Nemotron 3 Super (120B-A12B) Mistral Small 4 (119B-A6B)
AIME 2025 96.9 81.9 91.7 79.8
GPQA (Diamond) 84.3 68.1 78.0 74.7
LiveCodeBench v6 85.9 59.2 82.0 71.2
HumanEval+ 92.7 76.8 94.7 92.8

コミュニティの洞察と反論

技術レポートはその透明性が称賛されましたが、このリリースは「ソブリン（主権）」の定義に関する議論を巻き起こしました。

「ソブリンというトピックは、一般的にさらなる注目が必要です... モデルをセルフホストすることはソブリンの一部ですが、エージェントスタックの残り（埋め込み、検索、メモリなど）をどのように扱うのでしょうか？」

他の批評家は、同社がカナダの企業であるCohereと合併したという報道を指摘し、会社がヨーロッパ外で運営されている場合、「ソブリン」という主張が有効であり続けるのか疑問を呈しました。さらに、一部のユーザーは、モデルはベンチマークでは強力であるものの、ドイツの官僚機構における実世界での適用には依然として注意が必要であり、あるユーザーは最新の法律（デジタルサービス法）ではなく古い法律を参照する失敗を報告したと指摘しました。

デプロイメント

KolibriはHugging Faceで利用可能であり、vLLM統合には aleph-alpha-inference パッケージが必要です。

推奨されるサービングコマンド:

vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice

Sources

関連