ucam-eo/tessera

解決的問題

TESSERA 解決了處理海量且受雲層干擾的衛星時序數據的挑戰。傳統上，由於缺乏帶標籤的訓練數據集以及處理時間訊號的高計算成本，從這些數據中提取洞察是非常困難的。TESSERA 提供了一種方法，可以將數 PB 級的地球觀測數據總結為緊湊的、可用於分析的嵌入（embeddings），即使在觀測值因雲層覆蓋而缺失的情況下，也能保留光譜-時間訊號。

工作原理

TESSERA 是一個開源基礎模型，使用自監督學習以 10 公尺解析度建立地球表面的 128 維潛在表示（embeddings）。它採用基於 Barlow Twins 的技術，強制使來自衛星時序的兩個無雲隨機樣本的自動編碼器嵌入保持一致。這一過程建立了一個代表整個時序（包括缺失觀測值）的嵌入。該模型處理 Sentinel-1 和 Sentinel-2 衛星數據，並沿時間維度進行堆疊以生成用於推論的合成數據。

適用對象

專為遙感、生態學和環境科學領域的研究人員和從業者設計，他們需要執行下游任務（如棲息地製圖、碳核算、作物類型分類和環境變化檢測），而無需為每個專案準備大規模的帶標籤數據集或極高的本地計算資源。

亮點

• 全球覆蓋：提供 2024 年全球範圍內的分析就緒型 10 公尺解析度嵌入，部分地區（美國和歐洲）的歷史數據可追溯至 2017 年。
• 自監督：使用自監督學習來總結 PB 級的數據，減少了對帶標籤訓練集的需求。
• 時間特徵保留：保留了傳統方法中通常會遺失的物候訊號，從而能夠更好地洞察生態系統動態。
• 開放獲取：軟體採用 MIT 授權，模型權重和嵌入根據 CC0 發布，可免費用於商業和非商業用途。