TL;DR

Google DeepMindによる新しいマルチモーダルファミリーである Gemma 4 が、Hugging Face 上で Apache 2.0 ライセンスとして公開されました。画像、音声、ビデオの理解、最大 256K のコンテキストウィンドウを備え、transformers、llama.cpp、MLX、Rust、WebGPU を介したオンデバイス展開が可能です。

---

Gemma 4 の新機能は？

Gemma 4 は、Gemma シリーズに真のマルチモーダル性（画像、音声、ビデオ）を加え、可変アスペクト比の画像トークン予算をサポートし、2.3B パラメータのエッジモデル (E2B) から 31B デンスモデルまでの 5 つのモデルサイズを提供します。各モデルにはベースモデルとインストラクション・チューニング済み（instruction-tuned）のチェックポイントがあります。すべてのモデルが 128k または 256k トークンのコンテキストウィンドウをサポートしており、オンデバイスでの長文推論やエージェント的なユースケースを可能にします。

モデル	実効パラメータ数	コンテキスト	チェックポイント
Gemma 4 E2B	2.3 B (embeddings 込みで 5.1 B)	128 k	base, instruction-tuned
Gemma 4 E4B	4.5 B (embeddings 込みで 8 B)	128 k	base, instruction-tuned
Gemma 4 12B Unified	11.95 B dense (encoder-free)	256 k	base, instruction-tuned
Gemma 4 31B	31 B dense	256 k	base, instruction-tuned
Gemma 4 26B A4B (MoE)	合計 26 B, アクティブ 4 B	256 k	base, instruction-tuned

アーキテクチャのハイライト

Alternating Sliding-Window and Global Attention

小型のデンスモデルは 512 トークンのスライディングウィンドウを使用し、大型モデルは 1024 トークンのウィンドウを使用し、フルコンテキスト層と交互に配置することで、長距離の依存関係を維持しながら計算量を線形に保ちます。

Dual RoPE Configurations

標準的な Rotary Positional Embeddings (RoPE) がスライディング層を制御し、プルーニングされた RoPE バリアントがグローバル層を制御することで、追加のメモリを消費せずに有効なコンテキストを拡張します。

Per-Layer Embeddings (PLE)

PLE は、各トークンに対して軽量な層ごとのコンディショニング・ベクトルを追加します。これはトークン・アイデンティティのルックアップとコンテキスト認識の射影を組み合わせたもので、初期の埋め込みテーブルに負荷をかけることなく、後続の層がトークン固有の信号を受け取れるようにします。これにより、控えめなパラメータコストで専門性が向上し、pad token ID を使用することでマルチモーダルなプレースホルダーにも機能します。

Shared KV Cache

最後の N 層は、同じアテンション・タイプの直前の非共有層の key-value (KV) テンソルを再利用します。これにより、特に長コンテキストの生成において、品質の低下を最小限に抑えつつ、推論時の計算量とメモリの両方を削減します。

Vision and Audio Encoders

• Vision encoder (12B を除く全モデル) は、学習済みの 2D 位置、多次元 RoPE を使用し、元の比率を維持しながら 70-1120 トークンのトークン予算をサポートします。
• Audio encoder (E2B, E4B) は、Gemma-3n と同一の USM スタイル conformer です。
• Unified 12B は個別のエンコーダーを廃止しています。生の画像パッチと音声波形が LLM の埋め込み空間に直接射影され、レイテンシとファインチューニングが簡素化されます。

マルチモーダル機能

Gemma 4 は、OCR、音声からテキストへの変換 (speech-to-text)、物体検出、ポインティング、およびマルチモーダルな関数呼び出し (function calling) に標準で対応しています。モデルは厳格な入力順序に従います：画像はテキストの前に、音声はテキストの後に。この規約は、組み込みのチャットテンプレートに必要です。

例: GUI 要素の検出

プロンプト: “What’s the bounding box for the "view recipe" element in the image?” モデルは、後処理を必要とせず、1000 × 1000 キャンバスに対する相対座標を含む JSON を返します。

例: ビデオ理解

Gemma 4 は、オプションの音声抽出を伴うビデオ URL を取り込むことができます。小型モデル (E2B/E4B) は音声を処理でき、大型モデルはビデオのみのストリームを処理できます。サンプル出力は、正確なシーン説明と曲のトピック推論を示しています。

例: 音声の質問応答と文字起こし

同じチャットテンプレートを使用して、Gemma 4 は音声に関する詳細な質問に答えたり、逐語的な文字起こしを行ったりできます。E4B モデルの文字起こしは、句読点と大文字・小文字を正確に再現し、リファレンステキストと一致します。

例: マルチモーダル関数呼び出し

「この画像に写っている都市は何ですか？そこの天気を調べてください」と尋ねられると、モデルは都市 (Bangkok) を特定し、正しくフォーマットされたツールコール get_weather(city="Bangkok") を出力します。

あらゆる場所でデプロイ

Gemma 4 は、エッジおよびブラウザへのデプロイを可能にする幅広い推論エンジンへの Day-0 サポートとともに提供されます。

Transformers (Python)

pip install -U transformers
from transformers import pipeline
pipe = pipeline("any-to-any", model="google/gemma-4-e2b-it")

pipeline は混合モダリティのメッセージを受け入れ、ビデオに対してはオプションの load_audio_from_video=True をサポートします。

Llama.cpp (C++)

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/gemma-4-E2B-it-GGUF

すべてのサイズに対して GGUF チェックポイントが提供されており、serve 時に量子化を選択できます。

Transformers.js (Browser)

Gemma 4 は transformers.js を介して WebGPU で動作します。デモスペースでは、ブラウザ上で直接画像-テキストおよび音声-テキストの推論を確認できます。

MLX (Apple Silicon)

mlx-vlm ライブラリは、4倍のメモリ削減を実現する TurboQuant を提供し、M シリーズチップ上での長コンテキスト推論をサポートします。

Mistral.rs (Rust)

Mistral.rs は、組み込みのツール呼び出しとマルチモーダル・サポートを備えた OpenAI 互換サーバーを提供します。単一のスクリプトでインストールでき、任意の Gemma 4 チェックポイントをサーブできます。

Multi-Token Prediction Drafters

Google は、すべての Gemma 4 サイズに対して投機的ドラフター (speculative drafters) をリリースしました。ドラフターは 1 回のフォワードパスで複数の将来のトークンを提案し、ターゲットモデルがそれらを検証することで、品質を損なうことなく最大約 3 倍の高速化を実現します。ドラフターはメインモデルと KV キャッシュを共有し、エッジバリアントにはエンベッダー・クラスタリングを使用します。

DiffusionGemma: Diffusion によるテキスト生成

DiffusionGemma (26B A4B) は、トークンごとの自己回帰ではなく、トークンブロックを並列にデノイズすることでテキストを生成します。これにより、フォワードパスあたり 15–20 トークンを実現し、低バッチサイズでは H100 FP8 上で 1100 tokens/s を超えるスループットを達成します。精度はわずかに低下しますが（例：MMLU Pro 77.6% vs 自己回帰 26B A4B の 82.6%）、レイテンシに敏感なアプリケーションにとってスループットの向上は非常に重要です。

ファインチューニングを簡単に

TRL 統合

Gemma 4 は、マルチモーダルなツール応答トレーニングを含む、教師ありファインチューニングのための trl ライブラリと連携します。例として、CARLA シミュレーター内で走行するようにモデルをトレーニングするスクリプトがあり、Vision-to-Action 学習を実証しています。

Vertex AI サポート

完全な Vertex AI の例では、CUDA を備えたカスタムコンテナの起動、Transformers と TRL のインストール、および H100 インスタンス上での Gemma 4 のファインチューニング方法を示しています。

Unsloth Studio

Unsloth Studio は、ローカルまたは Colab ベースのファインチューニングのための UI を提供します。ユーザーは任意の Gemma 4 チェックポイントを選択し、数クリックでトレーニングを開始できます。

ベンチマーク結果

Gemma 4 は、推論、コーディング、ビジョン、オーディオ、および長コンテキストタスクにおいて、新たなパレートのフロンティアを確立しました。ハイライト (インストラクション・チューニング済みモデル):

ベンチマーク	31B	26B A4B	12B Unified	4B E4B	2.3B E2B
MMLU Pro	85.2%	82.6%	77.2%	69.4%	60.0%
AIME 2026 (no tools)	89.2%	88.3%	77.5%	42.5%	37.5%
GPQA Diamond	84.3%	82.3%	78.8%	58.6%	43.4%
LiveCodeBench v6	80.0%	77.1%	72.0%	52.0%	44.0%
MMMU Pro (vision)	76.9%	73.8%	69.1%	52.6%	44.2%
MRCR v2 128k (long context)	66.4%	44.1%	43.4%	25.4%	19.1%

31B デンスモデルは推定 LMArena テキストのみのスコアで 1452 を達成し、26B MoE はわずか 4B のアクティブパラメータで 1441 に達しており、極めて高い効率性を示しています。

影響

• オープンソースの最前線 – 完全な Apache 2.0 ライセンスである Gemma 4 は、ライセンスの障壁なしにスマートフォン、ノートパソコン、サーバーで実行できる高品質なマルチモーダルモデルをコミュニティに提供します。
• オンデバイス・エージェント – 長いコンテキスト、共有 KV キャッシュ、および効率的な量子化の組み合わせにより、Gemma 4 はローカルアシスタント、自律型ロボティクス、およびプライバシー保護アプリケーションに理想的です。
• ツール呼び出しの同等性 – マルチモーダル関数呼び出しはテキストのみの呼び出しと同じ方法で動作し、より豊かなエージェントワークフロー（例：視覚ガイドによる天気照会）を可能にします。
• 速度と品質のトレードオフ – DiffusionGemma は生成重視のワークロードに対して新しいスピード優先のパスを提供し、MTP ドラフターは回答の品質を損なうことなく標準的な Gemma 4 の推論を加速させます。

---

今すぐ Gemma 4 を試す

• Transformers デモ – E4B、12B Unified、26B A4B、31B のインタラクティブなスペース。
• WebGPU デモ – transformers.js を介してブラウザで Gemma 4 を実行。
• モデルハブ – すべてのチェックポイント、GGUF ファイル、および ONNX エクスポートは https://huggingface.co/collections/google/gemma-4 で入手可能です。

---

謝辞

このリリースは、Google DeepMind によるモデルの貢献と、Hugging Face コミュニティによる広範な統合作業（Cyril, Raushan, Eustache, Arthur, Lysandre (transformers), Joshua (transformers.js), Eric (mistral.rs), Son (llama.cpp), Prince (MLX), Quentin, Albert, Kashif (TRL), Adarsh (SGLang), および Toshihiro (demo engineering)）によって実現しました。