IBM/terramind

何を解決するか

TerraMind は地球観測（EO）データの複雑さに対応するように設計されており、さまざまな空間データモダリティ間で任意の入出力の生成タスクを実行できる基盤モデルを提供します。ユーザーは一つの空間データタイプから別のタイプを生成でき、洪水検出や作物分類などの特定の環境モニタリングタスクにモデルをファインチューニングできます。

動作方法

TerraMind は、複数のモデルサイズ（Tiny、Small、Base、Large）をサポートする生成基盤モデルアーキテクチャを使用しています。『モダリティで考える（Thinking-in-Modalities: TiM）』アプローチを採用しており、最終出力に至るまでの途中で中間モダリティを予測します。このシステムは、ファインチューニング用に TerraTorch ツールキットと統合されており、事前学習および生成に6つのトークナイザーを用いています。

対象ユーザー

空間AI、地球観測、環境モニタリングに取り組む研究者や開発者向けです。マルチモーダル空間データの処理と生成が可能な基盤モデルが必要な方々に最適です。

主な特徴

• 任意の入出力生成: 異なる入力の組み合わせに対応して空間データを生成可能。
• モダリティで考える（TiM）: 中間モダリティを予測することで性能を向上させる革新的なアプローチ。
• 統合ツールキット: TerraTorch に完全統合され、大量のコードを書かずにファインチューニングが可能。
• オープンソースの重み: ハードウェア制約に応じて4種類のサイズから選択可能。