zju3dv/AutoRecon

AutoRecon – 自動化 3D 物件發現與重建

是什麼 – AutoRecon 是一個開源管道，接收一般的 RGB 圖像序列（或標準格式的資料集），自動發現個別物件、進行分割，並以神經 SDF 表面重建其 3D 幾何結構。它基於 NeRFStudio 與 SDFStudio 框架，重用其神經渲染與符號距離函數（SDF）功能。

主要元件

• AutoDecomp（在獨立倉儲中） – 從隨意拍攝中粗略分解場景，找出並分離物件。
• 神經表面重建 – 本倉儲的程式碼為每個發現的物件擬合基於 SDF 的神經表示，並可匯出網格。

典型工作流程

1. 準備資料 – 將連續影像資料夾（或 IDR/BlendedMVS/CO3D 格式之資料集）放置於 data/ 目錄下。
2. 執行管道 – 執行提供的 shell 腳本之一，例如 exps/code-release/run_pipeline_demo_low-res.sh。該腳本會自動執行結構從運動（SfM）、物件發現與 SDF 訓練。
3. 提取網格 – 訓練完成後，使用產生的 config.yml 與模型檢查點呼叫 ns-extract-mesh，產生 .ply 網格。可使用 MeshLab 進行可選後處理（基於環境光遮蔽的內部幾何移除）。

安裝 – 詳細步驟請見 docs/INSTALL.md。本專案依賴 nerfstudio、sdfstudio、nerfacc 與 tyro 的 Python 套件，以及最新的 PyTorch 建構版本。

重要性 – 傳統的 3D 重建管道需要手動物件分割與精細的相機校準。AutoRecon 自動化了發現步驟，使得無需人工標註即可從日常影片擷取中重建單一物件，對機器人、AR/VR 內容創作與神經場景表示研究極具價值。

引用 – 若在學術工作中使用此程式碼，請引用 CVPR 2023 論文：

@inproceedings{wang2023autorecon,
  title={AutoRecon: Automated 3D Object Discovery and Reconstruction},
  author={Wang, Yuang and He, Xingyi and Peng, Sida and Lin, Haotong and Bao, Hujun and Zhou, Xiaowei},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={21382--21391},
  year={2023}
}

致謝 – 實作大量重用了 nerfstudio、sdfstudio、nerfacc 與 tyro 的程式碼。