OlmoEarth Embeddings: 지구 관측을 위한 맞춤형 벡터 내보내기

OlmoEarth Studio는 이제 오픈 소스 OlmoEarth 파운데이션 모델에 의해 생성된 지구 관측 데이터의 압축된 수치 표현인 임베딩 벡터의 계산 및 내보내기를 지원합니다. 이러한 임베딩을 통해 사용자는 방대한 라벨링된 데이터셋이나 대규모 컴퓨팅 리소스 없이도 유사도 검색 및 토지 피복 분할과 같은 복잡한 지형 공간 분석을 수행할 수 있습니다.

OlmoEarth Studio에서 임베딩 계산하기

OlmoEarth Studio는 사용자가 정의한 특정 매개변수를 기반으로 임베딩을 생성하는 관리형 워크플로우를 제공합니다. 사용자는 Studio UI 또는 API를 통해 다음 설정을 구성할 수 있습니다:

Area of Interest: 이미지 획득 및 타일링을 위한 맞춤형 폴리곤.
Time Span: 1개월에서 12개월 기간 선택.
Encoder Variants: 세 가지 모델 크기가 제공됩니다: Nano (128-dim, 1.4M params), Tiny (192-dim, 6.2M params), 및 Base (768-dim, 89M params).
Spatial Resolution: 픽셀당 10, 20, 40 또는 80미터 옵션.
Imagery Sources: Sentinel-2 L2A, Sentinel-1 RTC 또는 두 가지의 조합을 지원합니다.

출력물은 각 밴드가 하나의 임베딩 차원을 나타내는 Cloud-Optimized GeoTIFFs (COGs)로 제공됩니다. 저장 공간을 최적화하기 위해 벡터는 -127에서 +127 사이의 부호 있는 8비트 정수(int8)로 저장되며, -128은 nodata용으로 예약되어 있습니다. 부동 소수점 벡터는 olmoearth_pretrain 라이브러리의 dequantize_embeddings 함수를 사용하여 복구할 수 있습니다.

OlmoEarth 임베딩의 다운스트림 애플리케이션

OlmoEarth 임베딩은 유사한 지표면 특성을 가진 위치를 유사한 벡터로 구성하므로, 간단한 수학적 연산을 통해 여러 고영향 지형 공간 작업을 수행할 수 있습니다.

유사도 검색

쿼리 픽셀의 임베딩과 영역 내의 다른 모든 픽셀 간의 코사인 유사도를 계산함으로써, 사용자는 지형 유사도 히트맵을 생성할 수 있습니다. 예를 들어, OlmoEarth-v1-Tiny를 사용하면 모델은 사전 라벨 없이도 도시 구조와 도로망을 농경지로부터 구분할 수 있습니다.

Few-Shot Segmentation

OlmoEarth 임베딩을 사용하면 최소한의 학습 데이터로 높은 정확도의 토지 피복 매핑을 수행할 수 있습니다. 베트남 Ca Mau 지역에 대한 테스트 사례에서, 단 60개의 라벨링된 픽셀(망그로브, 물, 기타 각각 20개씩)로 학습된 선형 분류기(logistic regression)는 0.84의 가중치 F1 점수를 달성했습니다. 이 결과는 임베딩이 이미 생태학적 차이를 내재화하고 있음을 나타내며, 이는 더 많은 라벨을 추가하더라도 정확도가 빠르게 포화 상태에 도달함을 의미합니다.

변화 탐지

두 개의 서로 다른 시간대 임베딩을 픽셀당 코사인 거리로 비교하면 지표면 변화를를 즉시 식별할 수 있습니다. 이 방법은 2023년 9월과 2024년 9월의 월간 Sentinel-2 임베딩을 비교하여 캘리포니아 Butte County의 Park Fire 화재 흔적을 탐지함으로써 입증되었습니다.

비지도 탐색

주성분 분석(PCA)을 사용하여 임베딩 차원을 3개(R/G/B에 매핑)로 축소하여 모델의 내부 구조를 것을 시각화할 수 있습니다. 네덜란드 Flevoland 지역에 대한 테스트에서, PCA 시각화는 폴더(polder) 구획 격자를 재현하고 해당 카테고리에 대한 명시적인 학습 없이도 작물 유형과 수역을 구분했습니다.

구현 및 성능 최적화

OlmoEarth 임베딩은 지형 공간 분석을 위한 비용 효율적인 진입점 역할을 합니다. 고정된 임베딩과 선형 프로브(linear probes)보다 더 높은 성능이 필요한 사용자의 경우, OlmoEarth Studio는 맞춤형 라벨에 대해 작업 특정 모델 헤드를 학습시키는 Supervised Fine-Tuning (SFT)을 지원합니다.

기술적 한계

임베딩 품질은 입력 이미지의 품질에 따라 달라집니다. 지속적인 구름 덮개, 대기 아티팩트 또는 합성 기간 동안의 누락된 관측 데이터와 같은 요인은 결과 벡터에 부정적인 영향을 미칠 수 있습니다.

가용성

소스 코드, 모델 가중치 및 연구 논문은 공개적으로 사용 가능합니다. 맞춤형 임베딩 내보내기는 OlmoEarth Studio 사용자에게 제공되며, 공개 모델을 사용하여 임베딩을 계산하는 방법은 rslearn 문서에 안내되어 있습니다.