OlmoEarth v1.1 发行说明 / 新功能
OlmoEarth v1.1 发行说明 / 新功能
OlmoEarth v1.1 将计算成本降低最高可达 3倍
Hugging Face 和 AllenAI 发布了 OlmoEarth v1.1，这是一个新的地球观测模型系列，旨在显著降低处理卫星影像的计算开销。OlmoEarth v1.1 在预训练、微调和推理过程中实现了最高可达 3 倍的计算成本降低，同时保持与原始 OlmoEarth v1 发布相当的性能水平。
通过减少 token 序列长度实现效率提升
在基于 transformer 的模型中，计算成本与 token 序列长度的平方成正比。为了提高效率，OlmoEarth 团队专注于减少来自遥感数据的 token 数量。
在原始 OlmoEarth v1 中，Sentinel-2 影像是基于分辨率的补丁进行处理的。对于给定的空间补丁，模型在每个时间步和每个分辨率（10m、20m、60m）下创建一个唯一的 token。这意味着具有两个时间步的 Sentinel-2 输入每个补丁将产生六个 token。
OlmoEarth v1.1 通过将这些分辨率合并为单个 token 来优化这一点。这种方法产生的 token 数量减少了三倍，从而在计算上实现了显著节省。虽然直接合并 token 通常会导致性能下降——例如在 m-eurosat kNN 基准测试中下降 10 个百分点——但 OlmoEarth 团队通过修改预训练方案来合并 token，而不会影响性能。
模型系列和可访问性
OlmoEarth v1.1 作为一系列模型发布，以便用户可以选择适合其特定计算预算的大小。该发布包括以下模型大小的权重和训练代码：
- Base
- Tiny Nano
对开发者
OlmoEarth v1.1 使得行星规模地图刷新更加经济且频繁。使用原始 OlmoEarth v1 模型的开发者可以在微调和推理过程中期待显著的加速，前提是模型在他们特定任务上表现良好，尽管技术报告中已经注意到一些回归。
对研究者
为了隔离方法论变化的影响，OlmoEarth v1.1 使用了与 OlmoEarth v1 相同的数据集进行训练。这使得研究者可以在不受数据集变化影响的情况下，研究 tokenization 和预训练算法变化的影响。