IBM/terramind

해결하는 문제

TerraMind는 지구 관측(Earth Observation, EO) 데이터의 복잡성을 다루도록 설계되었으며, 다양한 공간 데이터 모달리티 간에 임의의 입력-출력 생성 작업을 수행할 수 있는 기초 모델을 제공합니다. 사용자는 한 종류의 공간 정보를 다른 종류로 생성할 수 있으며, 홍수 탐지나 작물 분류와 같은 특정 환경 모니터링 작업에 대해 모델을 세부 조정(fine-tune)할 수 있습니다.

작동 방식

TerraMind는 다양한 모델 크기(Tiny, Small, Base, Large)를 지원하는 생성 기초 모델 아키텍처를 사용합니다. '모달리티로 사고하기(TiM)'라는 접근 방식을 채택하여, 최종 출력에 도달하기 위한 단계로 중간 모달리티를 예측합니다. 시스템은 파인튜닝을 위해 TerraTorch 툴킷과 통합되어 있으며, 사전 훈련 및 생성을 위한 여섯 가지 토크나이저 세트를 사용합니다.

대상 사용자

공간 AI, 지구 관측, 환경 모니터링 분야에서 일하는 연구자 및 개발자에게 적합합니다. 다양한 모달리티의 공간 데이터를 처리하고 생성할 수 있는 기초 모델이 필요한 분들입니다.

주요 특징

• 임의의 입력-출력 생성: 다양한 입력 조합에 대해 공간 데이터를 생성할 수 있습니다.
• 모달리티로 사고하기(TiM): 중간 모달리티를 예측함으로써 성능을 향상시키는 혁신적인 접근 방식입니다.
• 통합 툴킷: TerraTorch에 완전히 통합되어, 복잡한 코드를 작성하지 않고도 간편하게 파인튜닝이 가능합니다.
• 오픈소스 가중치: 하드웨어 제약에 따라 네 가지 크기로 제공되어 다양한 환경에 적합합니다.