OlmoEarth Embeddings: Custom Vector Exports for Earth Observation

OlmoEarth Studio 现在支持计算并导出嵌入向量（embedding vectors）——这是由开源 OlmoEarth 基础模型生成的地球观测数据的紧凑数值表示。这些嵌入向量允许用户执行复杂的地理空间分析，例如相似性搜索和土地覆盖分割，而无需大量标注数据集或海量计算资源。

Computing Embeddings in OlmoEarth Studio

OlmoEarth Studio 提供了一种基于用户定义参数生成嵌入向量的管理工作流。用户可以通过 Studio UI 或 API 配置以下设置：

• Area of Interest: 自定义多边形，用于图像获取和分块。
• Time Span: 选择 1 到 12 个月的时间跨度。
• Encoder Variants: 提供三种模型尺寸：Nano (128-dim, 1.4M params), Tiny (192-dim, 6.2M params), 和 Base (768-dim, 89M params)。
• Spatial Resolution: 选项包括每像素 10、20、40 或 80 米。
• Imagery Sources: 支持 Sentinel-2 L2A, Sentinel-1 RTC, 或两者的结合。

输出以 Cloud-Optimized GeoTIFFs (COGs) 形式交付，其中每个波段代表一个嵌入维度。为了优化存储，向量以 -127 到 +127 之间的有符号 8 位整数 (int8) 形式存储，-128 预留给 nodata。可以使用 olmoearth_pretrain 库中的 dequantize_embeddings 函数来恢复浮点向量。

Downstream Applications for OlmoEarth Embeddings

由于 OlmoEarth 嵌入向量将具有相似地表特征的位置组织成相似的向量，因此可以使用简单的数学运算将其应用于多种高影响力的地理空间任务。

Similarity Search

通过计算查询像素的嵌入向量与区域内所有其他像素之间的余弦相似度，用户可以创建景观相似性的热力图。例如，使用 OlmoEarth-v1-Tiny，模型可以在没有任何预先标注的情况下，将城市建筑和道路走廊与农田区分开来。

Few-Shot Segmentation

OlmoEarth 嵌入向量能够以极少的训练数据实现高精度的土地覆盖制图。在越南 Ca Mau 的一个测试案例中，仅使用 60 个标注像素（红树林、水体和其他类别各 20 个）训练的线性分类器（逻辑回归）实现了 0.84 的加权 F1 分数。结果表明，嵌入向量已经内化了生态学上的差异，这意味着即使增加更多标签，准确率也会迅速饱和。

Change Detection

通过使用逐像素余弦距离比较两个不同时段的嵌入向量，可以立即识别地表变化。该方法通过比较 2023 年 9 月和 2024 年 9 月的每月 Sentinel-2 嵌入向量，成功检测到了加利福尼亚州 Butte County 的 Park Fire 烧伤痕迹。

Unsupervised Exploration

主成分分析 (PCA) 可用于将嵌入维度降至三个（映射到 R/G/B），以可视化模型内部结构。在荷兰 Flevoland 的一项测试中，PCA 可视化重现了围垦地 (polder) 的地块网格，并区分了作物类型和水体，而无需对这些类别进行任何显式训练。

Implementation and Performance Optimization

OlmoEarth 嵌入向量是地理空间分析的一个具有成本效益的切入点。对于需要比冻结嵌入向量和线性探测（linear probes）更高性能的用户，OlmoEarth Studio 支持监督式微调 (SFT)，即在自定义标签上训练特定任务的模型头。

Technical Limitations

嵌入向量的质量取决于输入图像的质量。持续的云层覆盖、大气伪影或合成期间缺失的观测数据等因素可能会对生成的向量产生负面影响。

Availability

源代码、模型权重和研究论文均已公开。OlmoEarth Studio 的用户可以使用自定义嵌入向量导出功能，而使用公共模型计算嵌入向量的说明可以在 rslearn 文档中找到。