OlmoEarth v1.1 版本說明 / 新功能
OlmoEarth v1.1 版本說明 / 新功能
OlmoEarth v1.1 將計算成本降低最高達 3倍
Hugging Face 與 AllenAI 已發布 OlmoEarth v1.1，這是一個新的地球觀測模型系列，旨在顯著降低處理衛星影像的計算開銷。OlmoEarth v1.1 在預訓練、微調和推理階段可將計算成本降低最高達 3倍，同時保持與原始 OlmoEarth v1 發布版相近的性能水平。
透過減少 token 序列長度獲得效率提升
在基於 Transformer 的模型中，計算成本與 token 序列長度的平方成正比。為提高效率，OlmoEarth 團隊專注於減少從遙感數據產生的 token 數量。
在原始 OlmoEarth v1 中，Sentinel-2 影像是以基於解析度的塊進行處理的。對於給定的空間塊，模型會根據時間步長和解析度（10m、20m、60m）為每個組合創建一個獨特的 token。這意味著具有兩個時間步長的 Sentinel-2 輸入將每個塊產生六個 token。
OlmoEarth v1.1 透過將這些解析度合併為單一 token 來進行優化。此方法產生的 token 數量減少三倍，從而在計算上帶來實質性節省。儘管天真合併 token 通常會導致性能下降——例如在 m-eurosat kNN 基準測試中下降 10 個百分點——OlmoEarth 團隊透過修改預訓練方案來合併 token，而不影響性能。
模型系列與可及性
OlmoEarth v1.1 以模型系列的形式發布，以便使用者根據其特定的計算預算選擇適當的大小。此發布包含以下模型大小的權重和訓練代碼：
- 基礎
- 微型
- 納米
對開發者和研究者的影響
對開發者
OlmoEarth v1.1 使得行星規模地圖更新變得更具成本效益且頻繁。使用原始 OlmoEarth v1 模型的開發者可以在微調和推理階段期待顯著的加速，前提是該模型在他們的特定任務上表現良好，儘管技術報告中已指出一些回歸。
對研究者
為了隔離方法變化的影響，OlmoEarth v1.1 使用與 OlmoEarth v1 相同的數據集進行訓練。這使得研究者可以在不受數據集變異影響的情況下，研究 token化和預訓練算法變化的影響。