SigLIP 2 リリースノート / 新機能

Googleは、SigLIP 2をリリースしました。これは、追加の学習目標を導入することで、セマンティック理解、ローカライゼーション、および高密度な特徴抽出を強化した、新しい多言語ビジョン言語エンコーダーのファミリーです。SigLIP 2は、画像テキスト検索、ゼロショット分類、およびビジョン言語モデル（VLMs）の転移性能を含むコア機能において、すべてのモデルスケールで前身のモデルを上回っています。

ローカライゼーションとセマンティクスのための強化された学習目標

SigLIP 2は、より構造化され、きめ細かな視覚的表現を作成するために、SigLIPの元のsigmoid lossを3つの主要な技術的改善によって拡張しています。

テキストデコーダーの統合

ビジョンエンコーダーを位置認識可能にするために、学習プロセスにテキストデコーダーが追加されています。このデコーダーには、以下の3つの特定の目標が課せられています：

包括的な画像キャプションの予測。
特定の画像領域を説明するキャプションが提供されたときに、バウンディングボックスの座標を予測すること。
バウンディングボックスの座標が提供されたときに、領域固有のキャプションを予測すること。

ローカルセマンティクスのための自己蒸留

きめ細かなローカルセマンティクスを改善するために、SigLIP 2は、教師モデルが学生モデルのパラメータの移動平均である教師・学生フレームワークを用いた自己蒸留を採用しています。2つの特定の損失が導入されています：

Global-Local Loss: 学生ネットワークは、画像の断片的な（ローカルな）ビューのみを見ている間に、完全な画像に対する教師の表現に一致するように訓練されます。
Masked Prediction Loss: 学生は、埋め込まれた画像パッチの50%がマスクされた位置において、教師の特徴量に一致しなければなりません。

エンコーダーへの悪影響を防ぎ、計算コストを削減するために、これらの自己蒸留損失は、学習（sigmoidおよびデコーダー損失を使用）の80%が完了した後にのみ適用されます。

解像度適応とNaFlexバリアント

SigLIP 2は、2つの異なる手法を通じて、アスペクト比と解像度への感度に対処しています：

Fixed Resolution (固定解像度): 学習プロセスの95%時点のチェックポイントを使用して、位置およびパッチ埋め込みのサイズを変更し、その後、ターゲットの解像度に向けて継続的な学習を行います。
Dynamic Resolution (NaFlex) (動的解像度): FlexiViTおよびNaViTに基づいて、naflexバリアントは異なるシーケンス長とネイティブなアスペクト比を持つ入力をサポートします。これにより、OCRや文書理解など、異なる要件を持つタスクに対して単一のモデルを使用できます。

ユーザーは標準のSiglipModelクラスを使用して固定解像度モデルを利用できますが、naflexバリアントにはSiglip2Modelクラスが必要です（ただし、これはHugging Faceのpipeline APIを介して自動的に処理されます）。

モデルファミリーとパフォーマンス

SigLIP 2は、新しい「Giant」(1B)シリーズを含む、元のSigLIPと比較してより幅広いモデルサイズと構成を導入しています。利用可能なモデルは以下の通りです：

Size	Patch Size	Resolution
Base (86M)	32 / 16	224 to 512 / NaFlex
Large (303M)	16	256 to 512
Shape Optimized 400M	14 / 16	224 to 512 / NaFlex
Giant (1B)	16	256 to 384

評価データは、SigLIP 2がこれらのスケールにおいてSigLIP 1よりも優れていることを示しています。これらのエンコーダーは、VLMを構築するために特に価値があります。例えば、PaliGemma 2モデルはSigLIPをGemma 2 LLMと統合しており、SigLIP 2は同様のアーキテクチャに対する潜在的なアップグレードパスを提供します。

実装と推論

推論はtransformersライブラリを使用して実行できます。SigLIP 2のサポートを利用するには、メインブランチまたは特定の安定版ブランチからtransformersをインストールする必要があります：pip install git+https://github.com/huggingface/transformers@v4.49.0-SigLIP-2。

一般的なユースケースには、pipeline APIによるゼロショット画像分類や、ダウンストリームタスクのためにAutoModelおよびAutoProcessorを使用して画像埋め込みを抽出することなどが含まれます。