T5Gemma: デコーダーのみ適応によるエンコーダー-デコーダー LLM

Google DeepMind は、事前学習済みデコーダー専用モデルをエンコーダー-デコーダーアーキテクチャに変換して作成された、新しいエンコーダー-デコーダー大規模言語モデル (LLM) のコレクションである T5Gemma を発表しました。このアプローチにより、モデルはエンコーダー-デコーダー設計の強み—例えば、推論効率の向上と入力表現の豊かさ—を活用しながら、事前学習済みデコーダー専用モデルに既に捕捉されている知識を利用できます。

モデル適応: デコーダーのみからエンコーダー-デコーダーへの変換

T5Gemma は、モデル適応と呼ばれる手法を使用して開発されます。エンコーダー-デコーダーモデルをゼロから訓練する代わりに、新しいモデルのパラメータは、事前学習済みデコーダー専用モデルの重みを使用して初期化されます。これらのパラメータは、UL2 または PrefixLM ベースの目的を用いた事前訓練を通じてさらに適応されます。

この適応方法により、「アンバランス」モデルを含む柔軟なアーキテクチャ構成が可能になります。たとえば、9B エンコーダーと 2B デコーダーを組み合わせることができます（T5Gemma 9B-2B）。この柔軟性により、開発者は入力の理解（エンコーダー）が生成された出力（デコーダー）の複雑さよりも重要なタスク（要約など）において、品質と効率のトレードオフを最適化できます。

品質と推論効率

T5Gemma モデルは、デコーダー専用の Gemma 対応モデルと比較して、品質-推論効率のパレートフロンティアにおいて優位性を示します。これは、与えられた推論計算レベルにおいて、より良いパフォーマンスを提供することを意味します。

主要なパフォーマンスの観察点は次のとおりです：

レイテンシと精度: GSM8K (数学的推論) ベンチマークでは、T5Gemma 9B-9B は Gemma 2 9B よりも高い精を達成しつつ、同様のレイテンシを維持します。
効率の向上: T5Gemma 9B-2B モデルは、2B-2B モデルと比較して精度を大幅に向上させつつ、はるかに小さい Gemma 2 2B モデルとほぼ同じレイテンシを維持します。
表現の品質: T5Gemma モデルは、いくつかのベンチマークにおいて品質-推論効率フロンティアをほぼ支配し、その中には学習された表現の品質を測定する SuperGLUE も含まれます。

推論と指示チューニング機能

T5Gemma は、事前学習済み状態と指示チューニング済み状態の両方において、推論および一般的な能力に大きな改善を示します。

事前学習済みパフォーマンス

適応による事前学習は、複雑な推論タスクでの向上をもたらします。元の Gemma 2 9B モデルと比較して、T5Gemma 9B-9B は次のスコアを達成します：

GSM8K (数学的推論) で 9 ポイント以上高いスコア。
DROP (読解) で 4 ポイント高いスコア。

指示チューニング (IT) パフォーマンス

指示チューニング後、T5Gemma とデコーダー専用モデル間のパフォーマンスギャップはさらに広がります。たとえば、T5Gemma 2B-2B IT は次のように示されます：

Gemma 2 2B と比較して MMLU スコアがほぼ 12 ポイント上昇。
GSM8K スコアが 58.0% から 70.7% に上昇。

利用可能な T5Gemma チェックポイント

Google DeepMind は、Hugging Face、Kaggle、Vertex AI のコミュニティにわたって T5Gemma チェックポイントのスイートをリリースしました。リリースされたモデルには次のものが含まれます：

複数のサイズ: T5 サイズのモデル（Small、Base、Large、および XL）、Gemma 2 ベースのモデル（2B と 9B）、および T5 Large と T5 XL の間に位置するモデル。
複数のバリエーション: 事前学習済みバージョンと指示チューニング済みバージョンの両方が利用可能です。
柔軟な構成: アンバランスな 9B-2B チェックポイントが提供され、エンコーダー-デコーダーのサイズトレードオフを探索できます。
トレーニング目的: PrefixLM または UL2 の目的で訓練されたモデルは、最先端の生成性能または表現品質をサポートするために利用可能です。