allenai/olmoearth_pretrain

OlmoEarth란 무엇인가?

OlmoEarth는 지구 관측 데이터를 위해 설계된 다중 모달 시공간 기반 모델 제품군입니다. 모델은 위성 이미지(Sentinel-2 광학, Sentinel-1 레이더, Landsat)와 파생 지리 지도(예: OpenStreetMap, WorldCover, USDA Cropland, DEM, 캐노피 높이, WorldCereal)를 입력으로 받아 세분화, 분류 또는 임베딩 생성과 같은 다운스트림 작업에 사용할 수 있는 공동 표현을 학습합니다.

저장소에는 이러한 모델을 구축, 평가 및 미세 조정하기 위한 사전 훈련 코드와 유틸리티가 포함되어 있습니다. 이는 행성 규모의 지능을 위한 종단 간 도구를 제공하는 더 넓은 OlmoEarth 플랫폼의 일부입니다.

주요 기능

기능	세부 사항
모델 제품군	Nano, Tiny, Small, Base, Large – 약 1M에서 300M 이상의 매개변수(인코더 + 디코더).
모달리티	Sentinel-2(광학), Sentinel-1(SAR), Landsat, 그리고 6개의 파생 지도 레이어.
훈련 데이터	전 세계에서 추출된 285k 샘플(각 약 2.56km²); 데이터셋은 Hugging Face에서 제공.
버전 관리	v1, v1.1, v1.2 릴리스로 점진적 개선; 변경 로그 링크 제공.
오픈소스 스택	AllenAI의 OLMo-core 라이브러리 기반; Docker 이미지 제공; 선택적 flash-attention 지원.
라이선스	OlmoEarth Artifact License(`LICENSE` 참조).
문서	추론 빠른 시작, 미세 조정 튜토리얼, 데이터셋 생성 가이드, 평가 스크립트.

시작하기

설치(전체 스택)

# 저장소 클론
git clone git@github.com:allenai/olmoearth_pretrain.git
cd olmoearth_pretrain

# 권장: Python 3.12 + uv 패키지 매니저
uv sync --locked --all-extras --python 3.12

이 명령은 격리된 가상 환경(.venv)을 생성합니다. source .venv/bin/activate로 활성화하거나 uv run으로 명령을 실행하세요.

추론 전용 설치

사전 훈련된 모델만 로드하면 되는 경우(훈련 종속성 없음):

uv sync --locked

모델 사용

체크포인트 로드 – 모델 가중치는 Hugging Face에서 호스팅됩니다(예: allenai/OlmoEarth-v1_2-Base).
추론 실행 – docs/Inference-Quickstart.md를 따라 모델을 인스턴스화하고 위성 타일을 전달합니다.
미세 조정 – 세분화 및 임베딩 추출을 위한 튜토리얼이 제공됩니다:
- FinetuneOlmoEarthSegmentation.md
- OlmoEarthEmbeddings.md
- FinetuneOlmoEarth.md
배포 – 예제 배포는 관련 olmoearth_projects 저장소에 있습니다.

자체 모델 훈련

저장소에는 각 릴리스 버전에 대해 scripts/official/vX_X/ 아래에 준비된 스크립트가 포함되어 있습니다. 자세한 단계는 docs/Pretraining.md에 있으며, 데이터 준비(docs/Dataset-Creation.md), 환경 설정 및 실행 명령을 다룹니다.

평가

저자의 벤치마크 결과를 재현하려면 다음 지침을 따르세요:

docs/Evaluation.md – 연구 벤치마크 테스트.
파트너 작업 평가는 rslearn_projects 저장소에 문서화되어 있습니다.

테스트

uv run으로 테스트 스위트를 실행하세요:

# 전체 스위트(flash-attn 제외한 모든 선택적 종속성)
uv run --extra all-no-flash pytest tests/

# 전체 종속성으로 모델 로드 테스트(olmo-core 포함)
uv run --extra all-no-flash pytest tests_minimal_deps/

# 최소 종속성 로드 테스트(olmo-core 없음)
uv run --extra dev pytest tests_minimal_deps/

CI는 무거운 olmo-core 종속성 유무에 관계없이 패키지가 작동하는지 확인하기 위해 이 테스트를 두 번 실행합니다.

인용

코드(모델 가중치뿐만 아니라)를 사용하는 경우 소프트웨어를 인용하세요:

@software{olmoearth_pretrain,
  author    = {{OlmoEarth Team}},
  title     = {{OlmoEarth}: A library for developing earth system foundation models},
  publisher = {Allen Institute for AI},
  url       = {https://github.com/allenai/olmoearth_pretrain},
  version   = {0.1.2},
  year      = {2026}
}

특정 모델의 경우 해당 기술 보고서를 인용하세요(모델 표에 링크 제공).

누가 사용할 수 있나요?

원격 감지 연구자 – 위성 이미지 작업을 위한 사전 훈련된 백본이 필요한 분.
지리공간 데이터 엔지니어 – 임베딩 또는 세분화 마스크가 필요한 파이프라인을 구축하는 분.
AI 연구소 – 다중 모달 시공간 기반 모델에 관심이 있고 참조 구현을 찾는 분.

결론

OlmoEarth-pretrain은 대규모 지구 관측 기반 모델을 훈련하고 배포하기 위한 완전한 기능을 갖춘 오픈소스 도구 키트입니다. 즉시 사용 가능한 사전 훈련된 체크포인트, 명확한 훈련 스크립트 및 광범위한 문서를 제공하여 AI와 행성 데이터의 교차점에서 작업하는 모든 사람에게 실용적인 진입점을 제공합니다.