Apertus 1.5 リリースノート

概要

Apertus 1.5は、Apertus 1.0モデルシリーズの重要なアップデートであり、8Bおよび70Bパラメータモデルにネイティブなマルチモーダル理解、262,144トークンのコンテキストウィンドウ、および推論能力を向上させるオプションの思考モードを追加しました。Apache 2.0ライセンスの下でリリースされ、オープンな重み、トレーニングデータ、および包括的な研究ドキュメントが含まれています。

主な強化点

• マルチモーダル理解: モデルは、アーリーフュージョンアプローチを使用して、テキストに加えて画像と音声をネイティブに処理できるようになりました。画像は Emu3.5 トークナイザーを介して処理され、音声は WavTokenizer によって処理されます。
• 思考モード: モデルが最終的な回答を出す前に推論の過程を生成できるオプションモードにより、複雑な推論タスクにおけるパフォーマンスが大幅に向上しました。
• コンテキストの拡張: コンテキストウィンドウが262,144トークンに拡大され、前世代と比較して4倍の向上を実現しました。
• 指示とツール使用: トレーニングパイプラインの改良により、指示への追従性が向上し、外部ツールやAPIとの統合がより確実になりました。
• 透明性: モデルはApertus憲章を遵守しており、すべてのトレーニングデータは透明性とコンプライアンスのために文書化されています。

トレーニングパイプライン

Apertus 1.5のトレーニングプロセスには、継続的な事前トレーニングと、それに続く多段階のポストトレーニングパイプラインが含まれます。事前トレーニングフェーズでは、テキスト、画像、音声データの混合を使用して、8Bモデルに4兆トークン、70Bモデルに2兆トークンが追加されました。

ポストトレーニングは5つの異なるステージで構成されています:

1. 教師ありファインチューニング (SFT): 370万件のテキストサンプルとマルチモーダルデータを用いたトレーニング。
2. ロングコンテキストSFT: 262kトークンのフルウィンドウでの最適化。
3. 検証可能な報酬を用いた強化学習 (RLVR): 数学、コード、推論プロンプトに焦点を当てたトレーニング。
4. 直接選好最適化 (DPO): ジャッジによってスコアリングされた選好ペアを使用した、チャットの品質と安全性の向上。
5. 憲章アライメント (SDPO): モデルの出力をApertus憲章に合わせるための自己蒸留。

評価と再現性

Apertus 1.5は、透明で機械可読な評価記録を提供するために Every Eval Ever (EEE) スキーマを利用しています。このアプローチは、パフォーマンススコアと詳細なメタデータを併せて提供することで、EU AI法などで概説されているAIガバナンス要件を満たすことを目的としています。これらのモデルは、同規模の他のオープンウェイトモデルと比較して、コーディング、指示追従、多言語タスクにおいて競争力のあるパフォーマンスを示しています。

詳細なレシピ、アブレーション、中間チェックポイントは、公式のApertus Hugging Faceコレクションを通じて入手可能であり、研究者はトレーニング結果を再現し、各ステージがモデルの動作に与える影響を調査できます。