PaliGemma 2 リリースノート

Googleは、最新のGemma 2テキストデコーダとSigLIP画像エンコーダを統合したビジョン言語モデル(VLM)の新しいイテレーションであるPaliGemma 2をリリースしました。このアップデートにより、単一の3Bバリアントから3つの異なるサイズにモデルファミリーが拡張され、ダウンストリームファインチューニングにおける品質と効率のバランスをより良くするため、複数の入力解像度オプションが導入されました。

モデルアーキテクチャとバリアント

PaliGemma 2は、コンパクトなSigLIP画像エンコーダをGemma 2言語モデルに接続します。利用可能なバリアントは、Gemma 2 2B、9B、27Bモデルに基づいており、これによりPaliGemma 2のサイズは3B、10B、28Bパラメータとなります（画像エンコーダのパラメータを含む）。

さまざまなユースケースに柔軟性を提供するため、各モデルサイズは以下の3つの入力解像度をサポートします：

  • 224x224
  • 448x448
  • 896x896

すべてのチェックポイントはbfloat16精度で提供され、商用利用、再配布、モデル派生物の作成を許可するGemmaライセンスの下で配布されます。

事前学習データと機能

事前学習済み(pt)モデルは、ダウンストリームタスクでのファインチューニングを容易にするように設計されています。彼らは多様なデータ混合で学習され、少ない例でも高性能な適応を可能にします。事前学習データセットには以下が含まれます：

  • WebLI: 視覚的意味理解、オブジェクトローカライズ、多言語性のためのマルチリンガル、ウェブスケールの画像テキストデータセット。
  • CC3M-35L: Google Cloud Translation APIを介して34の追加言語に翻訳された英語の画像-alt_textペア。
  • VQ2A: 34の追加言語に翻訳された改善された質問回答データセット。
  • OpenImages: OpenImagesデータセットから生成された検出およびオブジェクト認識Q&A。
  • WIT: Wikipediaから出典された画像とテキスト。

特化されたファインチューンバリアント: DOCCI

Googleは、448x448解像度の3Bおよび10Bモデル向けに、DOCCIデータセット（画像テキストキャプションペア）でファインチューンされた特定のバリアントをリリースしました。これらのモデルは、テキストレンダリング、空間関係のキャプチャ、世界知識の統合を含む堅固なキャプション機能を示しています。

技術報告書によると、PaliGemma 2は以前のバージョンおよび他のモデルと比較して、事実の正確性（Non Entailment SentencesまたはNESで測定、低いほど良い）が向上しています：

モデル パラメータ 平均文字数 平均文数 NES (低いほど良い)
PaliGemma 3B 535 8.9 34.3
PaliGemma 2 (3B) 3B 529 7.7 28.4
PaliGemma 2 (10B) 10B 521 7.5 20.3
VILA 7B 871 8.6 28.6
LLaVA-1.5 7B 395 4.2 40.6

デプロイと量子化

PaliGemma 2は、transformersライブラリ（バージョン4.47以降）のHugging Faceと、PaliGemmaForConditionalGenerationおよびAutoProcessor APIを使用して統合されています。

TextVQAデータセット（224x224解像度）での3Bファインチューンチェックポイントのテストによると、量子化は精度にほとんど影響を与えません：

  • bfloat16 (量子化なし): 60.04% 精度
  • 8-bit: 59.78% 精度
  • 4-bit (nf4): 58.72% 精度

ファインチューニングと実装

PaliGemma 2のファインチューニング用APIは元のPaliGemmaと同一のままであり、既存のコードをそのまま動作させることができます。Hugging Faceチームは、3つのA100 (80GB) GPUを使用して、VQAv2検証セットの一部上でPaliGemma 2 3BモデルをLoRAファインチューンすることで、30分でモデルの効率を実証しました。

Sources