microsoft/satclip

解決する課題

SatCLIPは、地球上のあらゆる座標に対して、再利用可能な単一の表現（ベクトル）を作成します。生の緯度・経度をモデルに入力する代わりに、SatCLIPの位置埋め込みを、気温、所得、バイオームタイプの予測など、さまざまなタスクの入力として使用できます。その場所の衛星画像を見ることで場所の特性を学習するため、埋め込みには意味のある地理的・環境的特徴が保持されます。

仕組み

SatCLIPは、OpenAIのCLIPモデルと同じ考え方である対照学習を用いてトレーニングされています。トレーニングデータは、衛星画像とその画像が撮影された座標のペアで構成されています。画像エンコーダー（衛星画像をベクトルに変換）と位置エンコーダー（経度/緯度をベクトルに変換）の2つのエンコーダーが同時にトレーニングされます。トレーニング中、モデルは一致するペアに対しては2つのベクトルを類似させ、一致しないペアに対しては異なるものにするように学習します。トレーニング後は位置エンコーダーのみが必要で、任意の座標を与えると、その場所を要約したベクトルが出力されます。このモデルは、Sentinel‑2からサンプリングされた10万枚のマルチスペクトル衛星画像（256×256ピクセル、12バンド、10m解像度）を含む、S2‑100Kという新しいデータセットでトレーニングされました。

対象ユーザー

環境変数の予測、地域の分類、画像のローカライズなど、地理空間機械学習タスクに取り組む研究者や開発者。また、ゼロから構築することなく、事前トレーニング済みの位置埋め込みを必要とするすべての人に役立ちます。このプロジェクトでは、Pythonコード、事前トレーニング済みモデル、サンプルノートブックを提供しています。

ハイライト

• 3つのビジョンバックボーン（ResNet‑18, ResNet‑50, ViT‑B/16）と2つの空間解像度設定に対応した事前トレーニング済みモデルが利用可能。
• 著者らが公開した10万枚のマルチスペクトル衛星画像を含むS2‑100Kデータセットでトレーニング済み。
• 幅広いダウンストリームタスクで評価済み：回帰（気温、降水量、所得、住宅、標高、人口密度）および分類（国、バイオーム、エコリージョン、種）。
• トレーニングコード、コマンドラインインターフェース、使いやすいノートブックを備えたオープンソース。