OlmoEarth v1.1 リリースノート / 新機能

OlmoEarth v1.1 リリースノート / 新機能

OlmoEarth v1.1 は計算コストを最大 3 倍削減

Hugging Face と AllenAI は、OlmoEarth v1.1 をリリースしました。これは、衛星画像の処理における計算オーバーヘッドを大幅に低減するように設計された新しい地球観測モデルのファミリーです。OlmoEarth v1.1 は、プリトレーニング、ファインチューニング、推論全般において計算コストを最大 3 倍削減し、オリジナルの OlmoEarth v1 リリースと同様のパフォーマンスレベルを維持します。

トークンシーケンス長の削減による効率向上

トランスフォーマーベースのモデルでは、計算コストはトークンシーケンス長の二乗に比例して増加します。効率を向上させるため、OlmoEarth チームはリモートセンシングデータから生成されるトークンの数を削減することに焦点を当てました。

オリジナルの OlmoEarth v1 では、Sentinel-2 画像は解像度ベースのパッチを使用して処理されました。特定の空間パッチに対して、モデルは各タイムステップごとに各解像度（10m、20m、60m）ごとに一意のトークンを作成しました。これにより、2 つのタイムステップを持つ Sentinel-2 入力はパッチごとに 6 つのトークンを生成することになりました。

OlmoEarth v1.1 は、これらの解像度を単一のトークンに結合することでこれを最適化します。このアプローチによりトークン数が 3 分の 1 になり、計算における実質的な節約につながります。トークンを単純に結合すると通常パフォーマンスが低下します（たとえば、m-eurosat kNN ベンチマークで 10 パーセンテージポイントの低下など）が、OlmoEarth チームはパフォーマンスに影響を与えずにトークンを結合できるように、プリトレーニング regimen に変更を加えました。

モデルファミリーとアクセシビリティ

OlmoEarth v1.1 は、ユーザーが特定の計算予算に合ったサイズを選択できるように、モデルのファミリーとしてリリースされます。このリリースには、次のモデルサイズの重みとトレーニングコードが含まれます：

  • Base
  • Tiny
  • Nano

開発者と研究者への影響

開発者向け

OlmoEarth v1.1 により、惑星規模のマップ更新をより手頃なコストで頻繁に行えるようになります。オリジナルの OlmoEarth v1 モデルを使用する開発者は、特定のタスクに対してモデルが良好に機能する場合、ファインチューニングと推論において大幅な速度向上を期待できますが、技術報告書では一部の後退が指摘されています。

研究者向け

方法論的変更の影響を分離するため、OlmoEarth v1.1 は OlmoEarth v1 と同じデータセットでトレーニングされています。これにより、研究者はデータセットの変動の影響を受けずに、トークン化とプリトレーニングアルゴリズムの変更の影響を研究することができます。

リソース

Sources