Gemma 3n リリースノート / 新機能

Google DeepMindは、エッジデバイスに最先端の機能をもたらすために設計された、モバイルファーストのマルチモーダルモデルファミリーであるGemma 3nをリリースしました。このリリースでは、ネストされたトランスフォーマーアーキテクチャが導入されており、これによりモデルは生のパラメータ数よりも大幅に小さいメモリフットプリントで実行でき、2GBのRAMしか搭載していないハードウェアでも高性能なマルチモーダルAIを可能にします。

マルチモーダル機能とパフォーマンス

Gemma 3nは、テキスト出力とともに、画像、音声、ビデオ、テキスト入力をネイティブにサポートしています。有効パラメータ数に基づき、E2BとE4Bの2つの主要なサイズが用意されています。生のパラメータ数はそれぞれ5Bおよび8Bですが、アーキテクチャの最適化により、メモリフットプリントは2GB（E2B）および3GB（E4B）で動作可能です。

主なパフォーマンスの節目は以下の通りです：

  • LMArena Score: E4Bバージョンは、100億パラメータ未満のモデルとして初めてLMArenaスコアで1300以上を達成しました。
  • 多言語対応: モデルは140言語のテキストと、35言語のマルチモーダル理解をサポートしています。
  • 全般的な改善: 推論、コーディング、数学における品質が向上しました。

MatFormer: エラスティック・インファレンス・アーキテクチャ

Gemma 3nは、エラスティック・インファレンス（弾力的な推論）を可能にするためにネストされたトランスフォーマーを利用するMatFormer (Matryoshka Transformer) アーキテクチャに基づいて構築されています。この設計では、より大きなモデルの中に、それ自身の完全機能を持つより小さなバージョンが含まれています。

開発者はこのアーキテクチャを2つの方法で利用できます：

  1. 事前抽出済みモデル: ユーザーはスタンドアロンのE2Bサブモデルをダウンロードでき、E4Bモデルと比較して最大2倍速い推論が可能です。
  2. Mix-n-Match カスタマイズ: MatFormer Labツールを使用すると、層ごとのフィードフォワードネットワークの隠れ次元（8192から16384の範囲）を調整し、層を選択的にスキップすることで、E2BとE4Bの中間のカスタムサイズのモデルを作成できます。

現在のリリースではまだ実装されていませんが、このアーキテクチャは将来の「エラスティック実行」を可能にし、デプロイされた単一のモデルがデバイスの負荷やタスクの要件に基づいて、E4BとE2Bの推論パスを動的に切り替えられるようにします。

メモリおよび処理の最適化

Per-Layer Embeddings (PLE)

Per-Layer Embeddings (PLE) は、モデルのパラメータの大部分（具体的には各層に関連付けられたエンベディング）をCPUで計算できるようにすることで、メモリ効率を向上させます。これにより、コアとなるトランスフォーマーの重み（E2Bでは約2B、E4Bでは約4B）のみが、制限されたアクセラレータメモリ（VRAM）を占有するようにします。

KV Cache Sharing

音声やビデオストリームからの長いシーケンスの処理を加速させるため、Gemma 3nはKV Cache Sharingを実装しています。ローカルおよびグローバル・アテンションの中間層のキーと値をすべてのトップ層と共有することで、モデルはGemma 3 4Bと比較してプリフィル（prefill）パフォーマンスを2倍向上させ、ストリーミングアプリケーションの最初のトークン生成までの時間を短縮します。

特化型マルチモーダルエンコーダー

音声理解

Gemma 3nは、Universal Speech Model (USM) に基づく音声エンコーダーを統合しており、音声の160msごとに1トークンを生成します。これにより、デバイス上での自動音声認識 (ASR) および自動音声翻訳 (AST) が可能になり、特に英語とスペイン語、フランス語、イタリア語、ポルトガル語の間の翻訳において強力な結果を発揮します。

MobileNet-V5 Vision Encoder

このモデルは、エッジデバイス向けに最適化されたMobileNet-V5-300Mビジョンエンコーダーを利用しています。主な特徴は以下の通りです：

  • スループット: Google Pixel上で最大60fpsの処理が可能です。
  • 柔軟性: 256x256、512x512、768x768ピクセルの入力解像度をサポートしています。
  • 効率性: Gemma 3のベースラインであるSoViTと比較して、MobileNet-V5-300Mは量子化により13倍の高速化を実現し（量子化なしでは6.5倍）、パラメータ使用量は46%少なく、メモリフットプリントは4分の1に抑えられています。

エコシステムとデプロイメント

Gemma 3nは、Hugging Face Transformers、llama.cpp、Ollama、MLX、Google AI Edge、vLLMを含む幅広いオープンソースのツールやフレームワークによってサポートされています。デプロイメントのオプションは、Google AI StudioやVertex AIから、NVIDIA API CatalogやCloud Runまで多岐にわたります。

Sources