IBM/terramind

解決的問題

TerraMind 設計用於處理地球觀測（EO）資料的複雜性，提供一個能跨不同空間資料模態執行任意輸入輸出生成任務的基礎模型。使用者可從一種空間資訊類型生成另一種類型，並針對特定環境監測任務（如洪水偵測或作物分類）微調模型。

作法原理

TerraMind 採用支援多種模型大小（tiny、small、base、large）的生成式基礎模型架構。它使用「以模態思考」（Thinking-in-Modalities, TiM）方法，透過預測中間模態作為達成最終輸出的步驟。系統整合 TerraTorch 工具包以進行微調，並使用六種分詞器進行預訓練與生成。

適用對象

本專案適合從事空間人工智慧、地球觀測與環境監測的研究人員與開發者，他們需要一個能處理與生成多模態空間資料的基礎模型。

主要亮點

• 任意輸入輸出生成：可針對不同輸入組合生成空間資料。
• 以模態思考（TiM）：一種新穎方法，透過預測中間模態以提升效能。
• 整合工具包：完全整合至 TerraTorch，實現簡化微調，無需撰寫大量程式碼。
• 開源權重：提供四種不同大小，以適應不同硬體限制。