OlmoEarth v1.1 릴리스 노트 / 새로운 기능

OlmoEarth v1.1은 계산 비용을 최대 3배까지 줄입니다

Hugging Face와 AllenAI는 OlmoEarth v1.1을 출시했습니다. 이는 위성 이미지 처리의 계산 오버헤드를 크게 낮추도록 설계된 새로운 지구 관측 모델 가족입니다. OlmoEarth v1.1은 사전 학습, 미세 조정, 추론 전반에 걸쳐 계산 비용을 최대 3배까지 줄이면서 원래의 OlmoEarth v1 출시와 유사한 성능 수준을 유지합니다.

토큰 시퀀스 길이 감소를 통한 효율성 향상

트랜스포머 기반 모델에서는 계산 비용이 토큰 시퀀스 길이에 비례하여 제곱으로 증가합니다. 효율성을 높이기 위해 OlmoEarth 팀은 원격 감지 데이터에서 생성되는 토큰 수를 줄이는 데 중점을 두었습니다.

원래 OlmoEarth v1에서는 Sentinel-2 이미지가 해상도 기반 패치를 사용하여 처리되었습니다. 특정 공간 패치에 대해 모델은 해상도당 타임스텝당 고유한 토큰을 하나씩 생성했습니다(10m, 20m, 60m). 이는 타임스텝이 두 개인 Sentinel-2 입력이 패치당 여섯 개의 토큰을 생성한다는 것을 의미합니다.

OlmoEarth v1.1은 이러한 해상도를 단일 토큰으로 결합하여 이를 최적화합니다. 이 접근 방식은 토큰 수를 세 배 줄여 계산에서 상당한 절감을 가져옵니다. 토큰을 무작정 병합하면 일반적으로 성능이 저하되는데(예: m-eurosat kNN 벤치마크에서 10퍼센트 포인트 하락), OlmoEarth 팀은 성능에 영향을 주지 않고 토큰을 병합할 수 있도록 사전 학습 과정을 수정했습니다.

모델 가족 및 접근성

OlmoEarth v1.1은 사용자가 특정 계산 예산에 맞는 크기를 선택할 수 있도록 모델 가족으로 출시됩니다. 이 출시에는 다음 모델 크기의 가중치 및 학습 코드가 포함됩니다:

• Base
• Tiny
• Nano

개발자와 연구자에 대한 영향

개발자를 위한 내용

OlmoEarth v1.1은 더 저렴하고 빈번한 전 세계 규모 지도 갱신을 가능하게 합니다. 원래 OlmoEarth v1 모델을 사용하는 개발자는 모델이 특정 작업에 잘 수행된다면 미세 조정 및 추론 중에 상당한 속도 향상을 기대할 수 있지만, 기술 보고서에서 일부 회귀가 지적되었습니다.

연구자를 위한 내용

방법론적 변화의 영향을 분리하기 위해 OlmoEarth v1.1은 OlmoEarth v1과 동일한 데이터셋으로 학습되었습니다. 이를 통해 연구자는 데이터셋 변동의 영향 없이 토큰화 및 사전 학습 알고리즘 변경의 영향을 연구할 수 있습니다.

자료

• 모델 가중치: Hugging Face Collections
• 기술 보고서: allenai.org/papers/olmoearth_v1_1
• 학습 코드: GitHub - allenai/olmoearth_pretrain