Aya Expanse リリース：多言語 LLM パフォーマンスの向上

Hugging Face と Cohere For AI は Aya Expanse ファミリーをリリースしました。このファミリーは 8B と 32B のパラメータモデルを特徴とし、多言語 AI と単言語 AI のパフォーマンスギャップを埋めることを目的としています。これらのモデルは多言語パフォーマンスにおいて新たな最先端を築き、32B モデルは m-ArenaHard データセットでのペアワイズ比較において Llama 3.1 70B、Gemma 2 27B、Mistral 8x22B を上回ります。

パフォーマンスベンチマーク

Aya Expanse モデルは、同サイズクラスの他の主要なオープンウェイトモデルと比較して優れたパフォーマンスを示しています。

  • Aya Expanse 32B: Llama 3.1 70B（サイズが2倍以上大きいモデル）や Gemma 2 27B、Mistral 8x22B を上回ります。
  • Aya Expanse 8B: Gemma 2 9B、Llama 3.1 8B、Mistral 8B を上回り、勝率は 60.4%〜70.6% の範囲です。

評価は、23言語に翻訳された Arena-Hard-Auto データセット（m-ArenaHard）を使用して実施されました。

多言語アービトラージによるモデル崩壊の回避

合成データへの過度な依存に起因するモデル崩壊に対抗するため、Cohere For AI は「data arbitrage」を実装しました。この手法は、単一の教師モデルに依存するのではなく、教師モデルのプールから戦略的にサンプリングするもので、すべての言語で単一のモデルが優れていない低リソース言語において重要です。

アービトラージプロセス:

  1. Model Pool: 特定の言語グループ向けに訓練されたモデルのプールです。
  2. Arbiter: 内部報酬モデル（RM）が仲裁者として機能し、与えられたプロンプトに対するプール内すべてのモデルの生成物にスコアを付けます。
  3. Reward-Based Routing: 最高スコアの生成物が最終的な訓練データとして選択されます。

このアプローチにより、SFT 段階で 8B モデルの Gemma 2 9B に対する勝率が、従来の Aya 23 モデルと比較して 9.1% 向上しました。

多言語嗜好最適化

多言語環境で人間の嗜好に合わせることは、高品質な非英語嗜好データセットが不足しているため困難です。Aya Expanse はハイブリッドなオフライン・オンライン嗜好トレーニングパイプラインを活用しています：

合成嗜好データ生成

チームは、高性能な多言語 LLM からの同言語生成物と、英語から翻訳された（弱いモデルが生成した）低品質な生成物を対比させることで、高品質な嗜好ペアを生成しました。これにより、モデルは翻訳アーティファクトや低品質な多言語生成物から遠ざけられます。

ハイブリッド DPO パイプライン

  • Offline Stage: モデルはまず、アービトラージ段階で得られた最高報酬と最低報酬の応答からキュレーションされたデータで訓練されます。
  • Online Iterative DPO: モデルはオンライン DPO を 3 回のイテレーションで実施します。各イテレーションで、現在のモデルから複数の生成物をサンプリングし、報酬モデルでランク付けして、さらなる訓練に使用します。

8B モデルに対して、このオフラインとオンラインの嗜好トレーニングを組み合わせることで、Gemma 2 9B に対する勝率がさらに 7.1% 向上しました。

モデルマージによるパフォーマンス最大化

データミックスのハイパーパラメータ調整にかかる計算コストを削減するため、チームはモデルマージを使用しました。これは、異なる言語ファミリーで別々のモデルを訓練し、チェックポイント間の多様性を最大化しつつ、クロスリンガル転移を活用することを意味します。

主要なマージ戦略:

  • Diversity via Language Families: 異なる言語クラスターでモデルを訓練し、差別化を確保します。一方、各クラスターには共通言語（英語、スペイン語、フランス語）を含めてロバスト性を維持します。
  • Weighted Averaging: SLERP、TIES-merging、DARE-TIES をテストしましたが、重み付き線形平均が最も一貫した手法であることが判明しました。
  • Scaling Effects: モデルマージは、8B スケールに比べて 32B スケールで大幅に大きな効果をもたらし、最大で 3 倍の向上が見られました。

ポストトレーニングパイプラインの概要

最終的な Aya Expanse モデルは、合成データ品質のための多言語アービトラージ、嗜好整合のためのハイブリッドオフライン/オンライン DPO プロセス、そして多様な言語ファミリー間でのマルチタスク最適化を実現する戦略的モデルマージを組み合わせたマルチステージパイプラインの成果です。

Sources