facebookresearch/map-anything

解决的问题

MapAnything 为度量 3D 重建提供了一个通用框架。它解决了使用单个统一的前馈模型而非为每个任务使用单独的专用工具来执行各种 3D 任务（如多图像运动恢复结构 (SfM)、多视图立体视觉、单目度量深度估计和配准）的挑战。

工作原理

该项目的核心是使用端到端训练的 Transformer 模型来回归场景的分解度量 3D 几何。它的输入具有高度灵活性，允许用户提供图像、相机标定（内参或射线方向）、相机姿态或深度图的任何组合。该框架采用模块化设计，这意味着它可以通过统一的接口封装其他 3D 重建模型（如 DUSt3R、MASt3R 和 VGGT），确保所有输出都遵循一致的格式（例如 3D 点、相机姿态和置信度分数）。

适用对象

该框架旨在为从事 3D 计算机视觉、机器人技术和空间 AI 研究与开发的专业人员提供服务，他们需要一个通用的工具来处理不同输入模态下的度量 3D 重建。

亮点

• 通用模型：支持 12 种以上不同 3D 重建任务的单个前馈模型。
• 多模态灵活性：支持图像、标定、深度和姿态的任何组合作为输入。
• 模块化设计：用于可互换使用各种外部 3D 重建模型的统一接口。
• 内存高效：包含一种内存高效的推理模式，能够在高端 GPU 上处理多达 2,000 个视图。
• 全面技术栈：提供包括数据处理、训练、推理和分析在内的完整流水线。