zju3dv/AutoRecon

AutoRecon – 自动化 3D 对象发现与重建

是什么 – AutoRecon 是一个开源管道，接收普通的 RGB 图像序列（或标准格式的数据集），自动发现个体对象、进行分割，并将它们的 3D 几何结构重建为神经 SDF 表面。它基于 NeRFStudio 和 SDFStudio 框架，复用其神经渲染和符号距离函数（SDF）能力。

主要组件

• AutoDecomp（在独立仓库中） – 从随意拍摄中粗略分解场景，识别并分离出对象。
• 神经表面重建 – 本仓库的代码为每个发现的对象拟合基于 SDF 的神经表示，并可导出网格。

典型工作流程

1. 准备数据 – 将连续图像文件夹（或 IDR/BlendedMVS/CO3D 格式的数据集）放在 data/ 目录下。
2. 运行管道 – 执行提供的 shell 脚本之一，例如 exps/code-release/run_pipeline_demo_low-res.sh。该脚本会自动运行结构从运动（SfM）、对象发现和 SDF 训练。
3. 提取网格 – 训练完成后，使用生成的 config.yml 和模型检查点调用 ns-extract-mesh，生成 .ply 网格。可使用 MeshLab 进行可选后处理（基于环境光遮蔽的内部几何移除）。

安装 – 详细步骤请参见 docs/INSTALL.md。该项目依赖于 nerfstudio、sdfstudio、nerfacc 和 tyro 的 Python 包，以及最新的 PyTorch 构建版本。

为何重要 – 传统 3D 重建管道需要手动对象分割和精细的相机校准。AutoRecon 自动化了发现步骤，使得无需人工标注即可从日常视频捕获中重建单个对象，这对机器人、AR/VR 内容创作以及神经场景表示研究非常有用。

引用 – 若在学术工作中使用该代码，请引用 CVPR 2023 论文：

@inproceedings{wang2023autorecon,
  title={AutoRecon: Automated 3D Object Discovery and Reconstruction},
  author={Wang, Yuang and He, Xingyi and Peng, Sida and Lin, Haotong and Bao, Hujun and Zhou, Xiaowei},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={21382--21391},
  year={2023}
}

致谢 – 实现大量复用了 nerfstudio、sdfstudio、nerfacc 和 tyro 的代码。