CLIPのファインチューニング: リモートセンシングおよび衛星画像向け

研究者たちは、衛星画像とキャプションを使用してOpenAIのCLIPモデルをファインチューニングし、ドメイン固有のファインチューニングがリモートセンシングにおける高性能な検索に必要であることを実証しました。その結果得られたモデルは、ベースラインのCLIPモデルと比較して航空写真と対応するテキスト説明のマッチングにおいて著しく優れた性能を示します。

技術的アプローチとモデルアーキテクチャ

プロジェクトでは、openai/clip-vit-base-patch32 のファインチューニング版を利用しました。アーキテクチャは、テキストエンコーダと画像エンコーダからなるデュアルエンコーダシステムを採用し、コントラスト学習を用いて両モダリティを共通の埋め込み空間にマッピングします。この空間では、一致する画像‑キャプションペアは近づけられ、不一致のペアは遠ざけられます。

トレーニングインフラストラクチャ

トレーニングは以下のスタックで行われました：

Frameworks: FlaxとJAX（自動微分を持つ線形代数ライブラリ）。
ハードウェア: Google Cloud TPUs。
最適化: 最も性能の良いモデルは、学習率5e-6のAdamオプティマイザとバッチサイズ1024（8つのTPUコアに分散して128ずつ）を使用しました。

データセットとデータ拡張

衛星画像の独特な視覚特性にモデルを適応させるため、チームは以下の3つの主要データセットを使用しました：

RSICD: プライマリデータセット。Google Earth、Baidu Map、MapABC、Tiandituから得られた約10,000枚のRGB画像（224x224）を含み、画像あたり最大5つのキャプションがあります。
UCM: UC Merced Land Useデータセットに基づき、21クラスにわたる2,100枚の画像を含み、各クラスに5つのキャプションがあります。
Sydney: オーストラリアのシドニーの画像613枚を含み、7クラスにわたって各クラスに5つのキャプションがあります。

正則化戦略

これらの比較的小さなデータセットでのオーバーフィッティングを防ぐため、チームは2種類の拡張を実装しました：

画像拡張: PyTorch Torchvisionを使用してランダムクロッピング、ランダムリサイズ、カラージャッター、ランダムな水平および垂直フリップを行いました。
テキスト拡張: Marian MTファミリのモデルを用いたバックトランスレーションを採用しました。キャプションは英語からフランス語、スペイン語、イタリア語、ポルトガル語に翻訳され、その後英語に戻されました。これにより、5つ未만의ユニークな説明しかない画像のキャプションのバリエーションを増やしました。

損失プロットから、画像拡張がオーバーフィッティングを大幅に軽減し、画像拡張とテキスト拡張の組み合わせがさらにオーバーフィッティングを抑えることが示されました。

評価結果

評価はRSICDテストセットのサブセット（30の画像カテゴリ）を使用して行われました。各画像に対して「An aerial photograph of {category}」形式の30のキャプションをランク付けし、トップk精度を測定しました。

モデル名	k=1	k=3	k=5	k=10
ベースライン	0.572	0.745	0.837	0.939
ベストモデル (Adam, lr 5e-6)	0.883	0.968	0.982	0.998

ファインチューニングされたモデルは、特にk=1においてベースラインを大きく上回り、精度が0.572から0.883に向上しました。

実用的な応用と機能

ファインチューニングされたCLIPモデルにより、以下のリモートセンシング機能が可能になります：

テキストから画像への検索: テキストクエリ（例："beach"、"airport"、または特定の人工構造物）を使用して、大規模な衛星画像コレクションを検索します。
画像から画像への検索: コーパス内で視覚的に類似した衛星画像を見つけます。
特徴の局所化: 画像をパッチに分割しエンコードすることで、テキストベクトルを特定の画像パッチにマッチングさせ、特定領域における特徴の存在確率を決定できます。

倫理的考慮

著者らは、この技術が気候変動の監視や国家防衛などの社会的善に利用できる一方で、権威主義国家による軍事・警察監視への悪用の可能性という倫理的懸念も指摘しています。

今後の研究方向性

チームは以下の分野でのさらなる開発を特定しました：

画像キャプション生成: CLIPエンコーダとGPT-3デコーダを組み合わせたシーケンスツーシーケンスモデルの開発。
データセットの拡張: 追加の画像‑キャプションペアでファインチューニングを行い、性能をさらに向上させる。
一般化: ファインチューニングがRSICD以外のデータでの性能に与える影響、およびトレーニングセット外のカテゴリを分類するモデルの能力を調査する。