Gemma 3 リリースノート / 新機能

コア機能とモデルバリアント

Gemma 3は、オンデバイスアプリケーションからハイパフォーマンスサーバーまでのさまざまなデプロイ環境向けに設計されたスケーラブルなモデル範囲を提供します。1Bモデルはテキスト専用のままですが、4B、12B、27Bのバリアントは完全にマルチモーダルで、画像とテキストの両方を処理できます。

モデル 事前学習済み インストラクションチューニング マルチモーダル 多言語対応 コンテキストウィンドウ
1B gemma-3-1b-pt gemma-3-1b-it いいえ 英語 32K
4B gemma-3-4b-pt gemma-3-4b-it はい 140+ 言語 128K
12B gemma-3-12b-pt gemma-3-12b-it はい 140+ 言語 128K
27B gemma-3-27b-pt gemma-3-27b-it はい 140+ 言語 128K

技術的な拡張

Gemma 3は、汎用性と効率性を向上させるために、Gemma 2に対して3つの主要な技術的アップグレードを導入します。

コンテキスト長の拡張

コンテキストウィンドウは、Gemma 2の8kから4B、12B、27Bモデルでは128k（および1Bモデルでは32k）に拡張されました。これをスクラッチから再トレーニングせずに実現するため、Googleは以下の方法を使用しました：

  • 位置エンベディング調整: RoPEベース周波数は10kから1Mにアップグレードされ、8のスケールファクターでスケーリングされました。
  • KVキャッシュ最適化: モデルはスライドウィンドウインターリーブドアテンションを利用します。ハイパラメータは、5つのローカルレイヤーと1つのグローバルレイヤーをインターリーブし、ウィンドウサイズを1024トークンに削減するように調整されました。

ネイティブマルチモーダリティ

マルチモーダル機能は、SigLIP画像エンコーダーによって駆動され、これは896x896にリサイズされた正方形の画像を処理します。推論時に非正方形のアスペクト比と高解像度画像を扱うため、Gemma 3は詳細にズームインするために画像を適応的にクロップする「パンアンドスキャン」アルゴリズムを採用しています。

注意メカニズムは入力タイプによって異なります：

  • テキスト: 一方向（因果）アテンションを使用します。
  • 画像: 完全双方向アテンションを使用し、マスクなしで画像のすべての部分を分析できるようにします。

多言語サポート

多言語データの量をプリトレーニングデータセットで2倍に増やすことにより、言語カバレッジが拡張されました。モデルは、262Kエントリーを持つGemini 2.0 SentencePieceトークナイザーを使用しており、これは中国語、日本語、韓国語のテキストエンコーディングを特に改善します。

パフォーマンスと評価

LMSys Chatbot Arenaにおける人間好み評価では、Gemma 3 27B ITモデルはEloスコア1339を達成し、全体で上位10モデルにランクインし、o1-previewと同等の性能を示しています。

27Bモデルのベンチマークパフォーマンスには以下が含まれます：

  • Reasoning and Math: MATHで69.0、GPQA Diamondで42.4。
  • Multimodal and Factual: MMMUで64.9、FACTS Groundingで74.9。
  • Coding and SQL: LiveCodeBenchで29.7、Bird-SQLで54.4。
  • General Knowledge: MMLU-Proで67.5。

閉じたGeminiモデルと競争力がある一方で、27Bモデルは基本的な事実において弱点を示し、SimpleQAで10.0のスコアを記録しました。

デプロイと推論

Hugging Face Transformers

Gemma 3は、transformersライブラリに2つの主要なクラスを通じて統合されています：

  • Gemma3ForConditionalGeneration: 4B、12B、27Bのビジョン言語モデルに使用されます。
  • Gemma3ForCausalLM: 1Bテキスト専用モデルに使用されるか、ビジョンタワーを省略してマルチモーダルモデルをテキスト専用LLMとして実行するために使用されます。

オンデバイスと低リソースオプション

ローカルデプロイでは、Gemma 3は次のフレームワークをサポートします：

  • MLX: mlx-vlmを介してApple Silicon（MacとiPhone）向けのゼロ日サポートを提供します。
  • Llama.cpp: ローカルCPU/GPU実行用の事前量子化されたGGUFファイルが利用可能です。
  • Hugging Face Endpoints: Inference Catalogを介して、12Bおよび27B ITモデルのワンクリックデプロイが利用可能です。

Sources