zju3dv/AutoRecon

AutoRecon – 自動3Dオブジェクト発見と再構成

何であるか – AutoReconは、通常のRGB画像シーケンス（または標準フォーマットのデータセット）を入力として、個々のオブジェクトを自動的に発見し、セグメンテーションして、ニューラルSDF表面として3Dジオメトリを再構成するオープンソースパイプラインです。NeRFStudioおよびSDFStudioフレームワークに基づき、それらのニューラルレンダリングおよび符号付き距離関数（SDF）機能を再利用しています。

主なコンポーネント

• AutoDecomp（別リポジトリ） – カジュアルなキャプチャからオブジェクトを検出し、分離する粗いシーン分解。
• ニューラル表面再構成 – このリポジトリのコードは、発見された各オブジェクトに対してSDFベースのニューラル表現を適合させ、メッシュをエクスポートできます。

一般的なワークフロー

1. データ準備 – data/フォルダ内に連続する画像のフォルダ（またはIDR/BlendedMVS/CO3D形式のデータセット）を配置します。
2. パイプライン実行 – 提供されたシェルスクリプトの1つを実行します。たとえば exps/code-release/run_pipeline_demo_low-res.sh です。スクリプトは構造から運動（SfM）、オブジェクト発見、SDFトレーニングを自動的に実行します。
3. メッシュの抽出 – トレーニング後、生成された config.yml とモデルチェックポイントを使用して ns-extract-mesh を呼び出し、.ply メッシュを生成します。MeshLabでオプションの後処理（環境光遮蔽に基づく内部ジオメトリの除去）が可能です。

インストール – 詳細な手順は docs/INSTALL.md に記載されています。本プロジェクトは、nerfstudio、sdfstudio、nerfacc、tyroのPythonパッケージに依存しており、最新のPyTorchビルドが必要です。

重要性 – 伝統的な3D再構成パイプラインは、手動によるオブジェクトセグメンテーションと慎重なカメラキャリブレーションを必要とします。AutoReconは発見ステップを自動化し、手動ラベルなしで日常的な動画キャプチャから個々のオブジェクトを再構成可能にします。これはロボット工学、AR/VRコンテンツ作成、ニューラルシーン表現に関する研究に有用です。

引用 – 学術的な研究で本コードを使用する場合、CVPR 2023の論文を引用してください：

@inproceedings{wang2023autorecon,
  title={AutoRecon: Automated 3D Object Discovery and Reconstruction},
  author={Wang, Yuang and He, Xingyi and Peng, Sida and Lin, Haotong and Bao, Hujun and Zhou, Xiaowei},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={21382--21391},
  year={2023}
}

謝辞 – 実装は、nerfstudio、sdfstudio、nerfacc、tyroから大幅にコードを再利用しています。