OlmoEarth Embeddings: 地球観測のためのカスタムベクトルエクスポート

OlmoEarth Studioは、オープンソースのOlmoEarth基盤モデルによって生成される地球観測データのコンパクトな数値表現である、埋め込みベクトル（embedding vectors）の計算とエクスポートを可能にしました。これらの埋め込みにより、ユーザーは大規模なラベル付きデータセットや膨大な計算リソースを必要とすることなく、類似性検索や土地被覆セグメンテーションなどの複雑な地理空間分析を実行できます。

OlmoEarth Studioにおける埋め込みの計算

OlmoEarth Studioは、ユーザーが定義した特定のパラメータに基づいて埋め込みを生成するための管理されたワークフローを提供します。ユーザーは、Studio UIまたはAPIを介して以下の設定を構成できます：

Area of Interest: 画像取得とタイリングのためのカスタムポリゴン。
Time Span: 1〜12ヶ月の期間の選択。
Encoder Variants: 3つのモデルサイズが利用可能です：Nano (128-dim, 1.4M params)、Tiny (192-dim, 6.2M params)、および Base (768-dim, 89M params)。
Spatial Resolution: 10、20、40、または 80 メートル/ピクセルのオプション。
Imagery Sources: Sentinel-2 L2A、Sentinel-1 RTC、またはその両方の組み合わせをサポート。

出力は、各バンドが1つの埋め込み次元を表すCloud-Optimized GeoTIFFs (COGs) として提供されます。ストレージを最適化するため、ベクトルは-127から+127の範囲の符号付き8ビット整数 (int8) として保存され、-128はnodata用に予約されています。浮動小数点ベクトルは、olmoearth_pretrain ライブラリの dequantize_embeddings 関数を使用して復元できます。

OlmoEarth 埋め込みのダウンストリーム・アプリケーション

OlmoEarthの埋め込みは、類似した地表特性を持つ場所を類似したベクトルに整理するため、単純な数学的演算を用いて、いくつかの影響力の大きい地理空間タスクに使用できます。

類似性検索

クエリピクセルの埋め込みと領域内の他のすべてのピクセルとの間のコサイン類似度を計算することで、ユーザーは景観の類似性ヒートマップを作成できます。例えば、OlmoEarth-v1-Tinyを使用すると、モデルは事前のラベルなしで、都市構造や道路回廊を農地から区別することができます。

Few-Shot Segmentation

OlmoEarthの埋め込みは、最小限のトレーニングデータで高精度な土地被覆マッピングを可能にします。ベトナムのCa Mauにおけるテストケースでは、わずか60個のラベル付きピクセル（マングローブ、水、その他の各クラスにつき20個）でトレーニングされた線形分類器（ロジスティック回帰）が、0.84の加重F1スコアを達成しました。この結果は、埋め込みがすでに生態学的な差異を内部化していることを示しており、これは、ラベルを追加しても精度がすぐに飽和すること、つまり精度がすぐに飽和することを意味します。

Change Detection

2つの異なる期間の埋め込みを、ピクセルごとのコサイン距離を用いて比較することで、地表の変化を即座に特定できます。カリフォルニア州ブッテ郡におけるPark Fireの焼失跡を、2023年9月と2024年9月の月間Sentinel-2 埋め込みを比較することで検出した事例が示されています。

Unsupervised Exploration

主成分分析 (PCA) を使用して、埋め込みの次元を3つ（R/G/Bにマッピング）に削減して、モデルの内部構造を可視化できます。オランダのFlevolandにおけるテストでは、PCA可視化により、ポルダーの区画グリッドを再現し、それらのカテゴリに関する明示的なトレーニングなしで、作物種や水域を区別することができました。

実装とパフォーマンスの最適化

OlmoEarth 埋め込みは、コスト効率の高い地理空間分析への入り口として機能します。固定された埋め込みと線形プローブを使用する場合よりも高いパフォーマンスが必要なユーザーのために、OlmoEarth Studioは、カスタムラベルでタスク固有のモデルヘッドをトレーニングするSupervised Fine-Tuning (SFT) をサポートしています。

Technical Limitations

埋め込みの品質は、入力画像の品質に依存します。継続的な雲の被覆、大気の影響、または合成期間中の観測欠損などの要因は、結果として得られるベクトルに悪影響を及ぼす可能性があります。

Availability

ソースコード、モデルの重み、および研究論文は公開されています。カスタム埋め込みエクスポートは、OlmoEarth Studioのユーザーが利用可能です。また、公開モデルを使用した埋め込みの計算方法については、rslearn のドキュメントに記載されています。