Baidu ERNIE 5.5 Flash Base リリースノート
Baiduは、合計280Bのパラメータを持ち、トークンあたり14Bがアクティブ化されるスパースMixture-of-Experts (MoE) 言語モデル「ERNIE 5.5 Flash Base」をリリースしました。本リリースでは、中間学習や事後学習を行っていない生の事前学習済みチェックポイントが提供されており、ドメイン適応、インストラクションチューニング、強化学習の研究に関心を持つ開発者向けの基礎的なベースラインとして機能します。
モデルアーキテクチャと効率性
ERNIE 5.5 Flashは、モデルの容量と計算効率のバランスを重視して構築されています。アーキテクチャは43層のバックボーンを採用し、いくつかの特殊なコンポーネントを備えています。
- ハイブリッド・スパース・アテンション: このモデルは、Multi-head Latent Attention (MLA) と Heavily Compressed Attention (HCA) を組み合わせています。ほとんどの層ではHCAを使用してコンテキストを圧縮し、一部の層ではMLAを使用してトークンレベルでのフルコンテキストへのアクセスを維持することで、KVキャッシュの予算を最適化しています。
- マルチルーター・ラテントMoE: 従来のシングルルーターMoE設計に代わり、独立して初期化された複数のシグモイドルーターを使用しています。このアプローチにより、エキスパート選択の精度が向上し、ノイズの多い特徴量に対する感度が低下します。
- ECHO (Efficient Contextual Head Optimization): 標準的なMulti-Token Prediction (MTP) モジュールに代わり、ECHOはバックボーンの最終層を再利用して将来のトークンを予測します。これにより、補助モジュールのオーバーヘッドなしで、モデルがシーケンスの進行を予測することを促進します。
- 多様体制約付きハイパーコネクション (mHC): 標準的な残差接続はmHCに置き換えられています。これは、4つの並列残差ストリーム間で制約付き混合行列を使用し、情報の流れを改善します。
学習とデータ
このモデルは、MuonオプティマイザとFP8混合精度を使用して、33.5Tトークンでゼロから学習されました。学習パイプラインには128Kのコンテキスト長が含まれており、推論時には最大1Mトークンまでサポートしています。事前学習コーパスは、高品質なWebデータ、リポジトリ規模のコード、および推論やエージェントワークフローを促進するように設計された長文コンテキストシーケンスを重視しています。
また、Baiduはこのリリースのために2つのインフラストラクチャコンポーネントを導入しました。大規模GPUクラスター向けに設計されたMuonオプティマイザの分散バージョンと、SM90およびSM100アーキテクチャ上の大きなヘッド次元向けに最適化されたアテンションカーネル「FlashMask-4」です。
コミュニティの反応とライセンス
今回のリリースは、現在のAI環境におけるベースモデルの役割について議論を巻き起こしています。リリースを支持する人々は、調整されていないベースモデルを提供することは分散型のアライメントにとって不可欠であり、単一の中央集権的なアプローチに頼るのではなく、研究者が多様な学習手法を追求できるようになると主張しています。
しかし、一部のコミュニティメンバーからは、使用に関する地理的制限を含むライセンス契約について懸念の声が上がっています。さらに、一部の開発者はこのモデルをDeepSeek-V4-Flashのような既存のオープンソースベースモデルの強力な代替品と見なしている一方で、より急速に進化する新しいモデルファミリーと比較すると「ERNIE」というブランド名が古く感じられるという指摘もあります。
技術仕様
- 合計パラメータ数: 280B
- アクティブ化パラメータ数: 14B
- コンテキストウィンドウ: 128K (事前学習時)、1M (推論時)
- 語彙数: 約200K (右から左への数値トークン化を伴うBPE)
- 可用性: このモデルはHugging FaceにてFP8およびBF16形式で利用可能です。