OlmoEarth Embeddings: Custom Vector Exports for Earth Observation

OlmoEarth Studio 現在支援計算與匯出嵌入向量（embedding vectors）——這是由開源 OlmoEarth 基礎模型所產生的地球觀測數據之精簡數值表示。這些嵌入向量允許使用者進行複雜的地圖空間分析，例如相似性搜尋與土地覆蓋分割，而無需大量標記數據集或龐大的運算資源。

Computing Embeddings in OlmoEarth Studio

OlmoEarth Studio 提供了一套受管工作流，可根據使用者定義的特定參數來產生嵌入向量。使用者可以透過 Studio UI 或 API 配置以下設定：

• Area of Interest: 自定義多邊形用於影像擷取與切片。
• Time Span: 選擇 1 到 12 個月期間。
• Encoder Variants: 提供三種模型大小：Nano (128-dim, 1.4M params), Tiny (192-dim, 6.2M params), 以及 Base (768-dim, 89M params)。
• Spatial Resolution: 選項包括每像素 10、20、40 或 80 公尺。
• Imagery Sources: 支援 Sentinel-2 L2A、Sentinel-1 RTC，或兩者的組合。

輸出結果以 Cloud-Optimized GeoTIFFs (COGs) 形式交付，其中每個波段代表一個嵌入維度。為了優化儲存空間，向量以範圍從 -127 到 +127 的有符號 8 位元整數 (int8) 儲存，其中 -128 保留給 nodata。浮點數向量可以透過 olmoearth_pretrain 函式庫中的 dequantize_embeddings 函式來還原。

Downstream Applications for OlmoEarth Embeddings

由於 OlmoEarth 嵌入向量將具有相似地表特性之位置組織成相似的向量，因此可以使用簡單的數學運算來執行多項具高影響力的地圖空間任務。

Similarity Search

透過計算查詢像素的嵌入向量與區域內所有其他像素之間的餘弦相似度（cosine similarity），使用者可以建立景觀相似性的熱圖。例如，使用 OlmoEarth-v1-Tiny，模型可以在沒有任何預先標記的情況下，將城市結構與道路廊道從農耕地塊中區分出來。

Few-Shot Segmentation

OlmoEarth 嵌入向量能夠以極少的訓練數據實現高精度的土地覆蓋繪製。在越南 Ca Mau 的一個測試案例中，僅使用 60 個標記像素（紅樹林、水體和其他類別各 20 個）訓練的線性分類器（logistic regression）達到了 0.84 的加權 F1 分數。結果顯示，嵌入向量已經內化了生態差異，這意味著即使增加更多標記，準確度也會迅速飽和。

Unsupervised Exploration

透過使用每像素餘弦距離（per-pixel cosine distance）比較兩個不同時期的嵌入向量，可以立即識別地表變化。此方法已透過比較 2023 年 9 月與 2024 年 9 月的每月 Sentinel-2 嵌入向量，成功偵測到加州 Butte County 的 Park Fire 燒毀痕跡。

Unsupervised Exploration

主成分分析 (PCA) 可用於將嵌入維度降低至三個（映射到 R/G/B），以視覺化模型的內部結構。在荷蘭 Flevoland 的測試中，PCA 視覺化重現了圍墾地 (polder) 的地塊網格，並在沒有對這些類別進行任何顯式訓練的情況下，區分了作物類型與水體。

Implementation and Performance Optimization

OlmoEarth 嵌入向量可作為地圖空間分析的高成本效益切入點。對於需要比凍結嵌入向量與線性探針 (linear probes) 更高性能的使用者，OlmoEarth Studio 支持 Supervised Fine-Tuning (SFT)，這涉及在自定義標記上訓練特定任務的模型頭部 (model head)。

Technical Limitations

嵌入向量的品質取決於輸入影像的品質。諸如持續的雲層覆蓋、大氣偽影或合成期間缺失的觀測數據等因素，都可能對產生的向量產生負面影響。

Availability

原始碼、模型權重與研究論文均已公開。OlmoEarth Studio 的使用者可以獲得自定義嵌入向量匯出功能，而使用公開模型計算嵌入向量的指令，可在 rslearn 文件中找到。