EmbeddingGemma 2 リリースノート

Google DeepMind は、テキスト、画像、音声、動画を統一された埋め込み空間にマッピングする軽量なマルチモーダル埋め込みモデルである EmbeddingGemma 2 をリリースしました。このモデルは、デバイス上で推論を行うことを目的としており、プライバシーを最優先とした検索拡張生成（RAG）や、消費者向けハードウェア上で実行可能なクロスモーダル意味検索を可能にします。

技術的アーキテクチャと効率性

EmbeddingGemma 2 は Gemma 4 アーキテクチャに基づき、Apache 2.0 ライセンスで公開されています。フル構成では 7.4 億パラメータを有していますが、ワークロードに応じてリソース消費を最適化するモジュール式設計を採用しています。

  • モジュール式パラメータ配分: テキストのみのワークロードには 2.7 億パラメータのみが必要です。オプションの視覚エンコーダー（1.7 億パラメータ）と音声エンコーダー（3 億パラメータ）を追加することで、フルマルチモーダル対応が実現されます。
  • MRLによるストレージ最適化: モデルはマトリョーシカ表現学習（MRL）を採用しており、出力ベクトルを 768 次元から 512、256、128 次元に切り詰めることができます。これにより、メモリ使用量とローカルのベクトルデータベースストレージが最大 6 倍まで削減可能です。
  • デバイス内メモリフットプリント: Google Pixel 11 Pro で量子化して実行した場合、テキストのみの重みでは約 191MB のアクティブ RAM を必要とし、フルマルチモーダルモデルでは 567MB となります。

機能とパフォーマンス

EmbeddingGemma 2 は複数のモダリティに対して統一された埋め込み空間を提供し、テキストクエリで音声記録を検索したり、ボイスメモから特定の動画クリップを見つけるなどのタスクを可能にします。

ベンチマークと品質

EmbeddingGemma 2 は 10 億パラメータ未満のマルチモーダル埋め込みモデルの中でトップクラスのスコアを達成しています。主なパフォーマンス指標は以下の通りです：

  • コードパフォーマンス: MTEB Code ベンチマークで 9.92 ポイントの向上を達成し、EmbeddingGemma 1 の 68.76 から 78.68 へと向上しました。
  • 一般性能: テキスト、視覚、音声のタスクにおいて、多くのより大きなモデルと同等またはそれ以上の性能を発揮しており、10 億パラメータ未満のモデルにおけるパラメータあたりの品質の新基準を設定しています。

コンテキストウィンドウ

モデルは 8K トークンのコンテキストウィンドウを備えており、EmbeddingGemma の初版の 4 倍の大きさです。この拡張されたウィンドウにより、以下の内容をローカルハードウェア上で直接処理できます：

  • 最大 5.5 分間の音声。
  • 最大 29 枚の画像。
  • 最大 58 フレームの動画。
  • 上記モダリティの混合組み合わせ。

統合とデプロイ

EmbeddingGemma 2 は Gemma 4 と共有するテキストトークナイザーと音声エンコーダーを持つため、Gemma 4 の生成モデルと統合することで、デバイス上で RAG を実行する際の合計メモリフットプリントを削減できます。

デプロイツール

EmbeddingGemma 2 は複数のプラットフォームとフレームワークでサポートされています：

  • モデル重み: Hugging Face と Kaggle で利用可能。
  • デバイス内フレームワーク: Google AI Edge MediaPipe と LiteRT。
  • Web デプロイ: transformers.js と WebGPU。
  • サービングスタック: transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio。
  • ベクトルストレージ: Qdrant。
  • ファインチューニング: Unsloth を通じたガイドラインが提供されています。

Sources