PaliGemma 2 Mix リリースノート

Googleは、PaliGemma 2 mixをリリースしました。これは、多様な学術的データセットでファインチューニングされた際に、事前学習済みPaliGemma 2チェックポイントが示す性能能力を実証するために設計された、命令チューニング済みのビジョン言語モデル（VLM）ファミリーです。オリジナルのPaliGemma 2事前学習済み（pt）モデルが特定のダウンストリームタスクへの転移学習のためのベースモデルとして意図されているのに対し、mixバリアントは幅広いビジョン言語アプリケーションに対して汎用的なベースラインを提供します。

モデルアーキテクチャとバリアント

PaliGemma 2は、SigLIPビジョンエンコーダとGemma 2言語モデルをベースに構築されています。mixファミリーは、パフォーマンスと計算効率のバランスをとるために、3つのパラメータサイズと複数の解像度で提供されています：

パラメータ数 解像度オプション
3B 224x224, 448x448
10B 224x224, 448x448
28B 224x224, 448x448

モデルは、Hugging Face TransformersとJAXの両方のフレームワークで利用可能です。

コア機能とタスクサポート

PaliGemma 2 mixモデルは、主に4つのカテゴリのビジョン言語タスクを処理できます：

  • 一般的なビジョン言語タスク: 視覚的質問応答（VQA）や画像への参照を含む。
  • ドキュメント理解: インフォグラフィック、チャート、図解に焦点を当てたVQA。
  • テキスト認識 (OCR): テキスト検出、テキストを含む画像のキャプショニング、テキストの多い画像に対するVQA。
  • ローカライゼーション: 物体検出および画像セグメンテーション。

プロンプティング戦略

PaliGemma 2 mixは、より高いパフォーマンスを得るためにオープンエンドなプロンプトをサポートしていますが、以前のイテレーションで使用されていたタスク固有のプレフィックスとも互換性があります。

オープンエンドなプロンプトは、ほとんどのタスクにおいて推奨されます。ただし、タスクプレフィックスも引き続き機能し、以下のパターンに従います：

  • caption {lang}: 短い、COCO形式のようなキャプション。
  • describe {lang}: 詳細で記述的なキャプション。
  • ocr: 光学的文字認識。
  • answer {lang} {question}: 画像の内容に関する質問応答。
  • question {lang} {answer}: 与えられた回答に基づく質問生成。

必須のプレフィックス: 物体検出と画像セグメンテーションには、機能させるために特定のプレフィックスが必要です：

  • detect {object description}: 指定されたオブジェクトのバウンディングボックスを返します。
  • segment {object description}; {object description}: 指定されたオブジェクトの画像セグメンテーションを作成します。

パフォーマンス比較と評価

3Bおよび10Bバリアント（448x448解像度）の評価では、より大きなモデルは、特に複雑な推論やドキュメント理解において、一般的により正確で詳細な回答を提供することが示されています。

  • 一般的なVQA: 3Bおよび10Bモデルは、オブジェクトを正確に数え（例：キャンディのカウント）、記述的なシーン分析を提供します。
  • ドキュメント理解: 10Bモデルは、解像度に敏感なタスクにおいて優れた精度を示し、3Bモデルが正確性の低い回答を提供したのに対し、正しいバリアント（448px）を特定しました。
  • テキスト認識: 両方のモデルは強力なOCR能力を発揮し、画像から日付、価格、複雑なメニューテキストを正確に抽出します。
  • ローカライゼーション: モデルは、単純なクラスラベルに限定されず、記述的なプロンプト（例：「棒の上の鳥」）に基づいてオブジェクトを検出およびセグメンテーションできます。

実装とファインチューニング

PaliGemma 2 mixは、Hugging Faceのtransformersライブラリを使用して実装できます。プロセスには、入力処理のためのPaliGemmaProcessorと、モデルのロードおよび$ ext{bfloat16}$精度のためのPaliGemmaForConditionalGenerationの使用が含まれます。

モデルをさらにカスタマイズしたいユーザー向けに、mixチェックポイントは事前学習済みPaliGemma 2モデルと同じ手法を使用してファインチューニングできます。詳細なチュートリアルは、smol-vision GitHubリポジトリから利用可能です。

Sources