ucam-eo/tessera

해결하는 문제

TESSERA는 방대하고 구름으로 인해 손상된 위성 시계열 데이터를 처리하는 문제를 해결합니다. 전통적으로 이러한 데이터에서 통찰력을 추출하는 것은 라벨이 지정된 학습 데이터셋의 부족과 시간 신호 처리의 높은 계산 비용으로 인해 어려움이 있었습니다. TESSERA는 관측 데이터가 구름으로 인해 누락된 경우에도 스펙트럼-시간 신호를 보존하면서 페타바이트 규모의 지구 관측 데이터를 분석 가능한 컴팩트한 임베딩으로 요약하는 방법을 제공합니다.

작동 원리

TESSERA는 자기지도 학습을 사용하여 10미터 해상도로 지구 표면의 128차원 잠재 표현(embeddings)을 생성하는 오픈 기반 모델입니다. Barlow Twins를 기반으로 한 기술을 사용하여 위성 시계열의 두 가지 구름 없는 무작위 샘플에서 추출된 오토인코더 임베딩이 서로 일치하도록 강제합니다. 이 프로세스는 누락된 관측치를 포함하여 전체 시계열을 나타내는 임베딩을 생성합니다. 이 모델은 Sentinel-1 및 Sentinel-2 위성 데이터를 처리하고 시간 차원을 따라 스택하여 추론을 위한 합성물을 생성합니다.

대상

서식지 매핑, 탄소 회계, 작물 유형 분류 및 환경 변화 탐지와 같은 다운스트림 작업을 수행할 때 대규모 라벨 데이터셋이나 프로젝트마다 과도한 로컬 컴퓨팅 리소스가 필요하지 않은 원격 탐사, 생태학 및 환경 과학 분야의 연구자와 실무자를 위해 설계되었습니다.

주요 특징

• 글로벌 커버리지: 2024년 전 지구에 대한 분석 가능한 10m 해상도 임베딩을 제공하며, 일부 지역(미국 및 유럽)의 경우 2017년까지 거슬러 올라가는 과거 데이터를 제공합니다.
• 자기지도 학습: 자기지도 학습을 사용하여 페타바이트 규모의 데이터를 요약하여 라벨이 지정된 학습 세트의 필요성을 줄입니다.
• 시간적 보존: 기존 방식에서 일반적으로 손실되는 페놀로지(생물 계절) 신호를 보존하여 생태계 역학에 대한 더 나은 통찰력을 제공합니다.
• 오픈 액세스: 소프트웨어는 MIT 라이선스이며, 모델 가중치와 임베딩은 상업적 및 비상업적 용도로 자유롭게 사용할 수 있도록 CC0로 공개됩니다.