facebookresearch/mvdust3r
Open source impl of **MV-DUSt3R+ Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds** from Meta Reality Labs. Project page https://mv-dust3rp.github.io/
解决的问题
MV-DUSt3R+ 能够从少量 RGB 图像（稀疏视图）中实现快速的单阶段 3D 场景重建。它消除了对预计算相机姿态的需求，允许系统在不知道相机确切位置的情况下从图像或视频中重建场景。
工作原理
该项目是 DUSt3R 模型的微调版本。它通过处理多个 RGB 图像或视频帧，在单个步骤中预测 3D 点云和相机姿态。它可以处理可变数量的视图（范围为 4 到 12 个），并提供置信度阈值以过滤重建中的低质量点。
适用对象
计算机视觉、3D 重建和空间 AI 领域的研究人员和开发人员，特别是那些正在寻找无需将显式相机标定或姿态估计作为独立步骤的高速重建流水线的人员。
亮点
- 无需姿态的重建：仅通过 RGB 图像即可重建 3D 场景，无需相机姿态。
- 单阶段流程：在单个步骤中执行重建，而不是多阶段流水线。
- 极速性能：能够在约 2 秒内重建场景。
- 多功能输入：同时支持多张静态图像和视频文件。
- 附加功能：支持相对姿态估计和新视图合成。
相关
- 项目
- 项目
- 项目
- 项目
- 项目