mmBERT: ModernBERT が多言語化

Hugging Face は、1,800 以上の言語で 3 兆トークン以上を学習した最先端の大規模多言語エンコーダモデル mmBERT を発表しました。mmBERT は XLM‑R を上回る初のモデルであり、自然言語理解（NLU）と検索性能の両方で大幅な向上を実現しながら、推論速度を 2〜4 倍高速化します。

訓練データと段階的言語導入

mmBERT は 3T+ トークンのキュレーション済みデータセットで訓練され、低リソース言語データのインパクトを最大化しつつ過剰な繰り返しを防ぐ段階的言語導入戦略を採用しています。データソースには高品質な英語コンテンツ向けの DCLM と Filtered DCLM、広範な多言語カバレッジ（1,800 以上の言語）を提供する FineWeb2、および 20 の高リソース言語向けの FineWeb2‑HQ が含まれます。さらに、Dolma、MegaWika v2、ProLong からの専門コーパスを組み込み、コード、学術コンテンツ、Wikipedia、教科書を網羅しています。

学習を最適化するために、訓練データは 3 つのフェーズにわたって段階的に減衰させました：

  • Pre‑training: 60 の高リソース言語に焦点。
  • Mid‑training: 110 言語に拡張。
  • Decay phase: 全 1,833 言語を含む。

訓練レシピとアーキテクチャの革新

mmBERT は ModernBERT アーキテクチャを基盤とし、Flash Attention 2 とアンパディング手法を活用して高スループットを実現しています。多言語テキストの処理を改善するために Gemma 2 トークナイザーを採用し、シーケンス長は最大 8,192 トークンまでサポートします。

モデルバリアント

  • mmBERT‑base: 110M の非埋め込みパラメータ（総計 307M）。
  • mmBERT‑small: 42M の非埋め込みパラメータ（総計 140M）。

新規訓練手法

  • Inverse Mask Ratio Schedule: マスク率を 30% → 15% → 5% と段階的に減少させ、基本的な表現学習から微細な理解へと移行。
  • Annealed Language Learning: データサンプリング温度を $\tau=0.7 \to 0.5 \to 0.3$ に調整し、高リソース言語からより均一なサンプリングへバイアスをシフト。
  • Model Merging: TIES マージングを用いて、Decay フェーズで訓練された 3 つのバリアント（英語特化、110 言語、全言語）を最終モデルに統合。

パフォーマンスベンチマーク

Natural Language Understanding (NLU)

mmBERT‑base は英語 GLUE ベンチマークにおいて XLM‑R base と mGTE base を大幅に上回ります。多言語 XTREME ベンチマークでは、XNLI 分類と TyDiQA 質問応答で顕著な改善を示すものの、トークナイザーの違いにより NER や POS タグ付けといった構造化予測タスクでは従来世代と同程度です。

Retrieval とコード性能

MTEB v2 の英語ベンチマークでは、mmBERT は ModernBERT のような英語専用モデルと同等の性能を示します。多言語 MTEB v2 ベンチマークでは既存モデルを一貫して上回ります。さらに、CoIR コードベンチマークにおいては、EuroBERT を除くほとんどのモデルを上回る強力なコーディング性能を示します。

Decay フェーズにおける低リソース言語の習得

mmBERT は、短い Decay フェーズでも低リソース言語を効果的に学習できることを実証しました。最終 100B トークンフェーズで 1,700 以上の言語を導入することで、既存の多言語基盤を活用した迅速な学習が可能となります。

Tigrinya（TiQuaD）と Faroese（FoQA）でのテストでは、mmBERT は Google Gemini 2.5 Pro や OpenAI o3 など、はるかに大規模なモデルを大きく上回りました。これは、モデルがゼロから学習するのではなく、既存のクロスリンガル表現を迅速に適応できることを示唆しています。

効率性と本番環境への準備

mmBERT は従来の多言語エンコーダに比べて 2〜4 倍のスループット向上を提供します。この向上は ModernBERT のアーキテクチャ遺産に起因し、具体的には以下が貢献しています：

  • Flash Attention 2: メモリ使用量を削減した最適化された注意計算。
  • Unpadding: 不要なパディングトークンを排除。
  • Extended Context: 最大 8,192 トークンまで効率的に処理でき、長文ドキュメントの大規模処理を可能にします。

Sources