zju3dv/NeuralRecon-W

解決する課題

NeuralRecon-Wは、「野外」（制御されていない環境）で撮影された画像から3Dシーンを再構築する際の課題に対処します。こうした画像には、歩行者や車両など、3D再構築プロセスを妨げる可能性のある一時的な物体が含まれることがよくあります。

仕組み

このプロジェクトは、符号付き距離関数 (SDF) を使用してシーンを表現するニューラル3D再構築パイプラインを実装しています。カメラの姿勢推定のためにCOLMAPと統合されており、静的なシーンと一時的な物体をシステムが区別できるようにセマンティックマップを生成するツールを提供します。このプロセスでは、一連の画像からシーンの3Dジオメトリを表現するようにニューラルネットワークをトレーニングし、そのネットワークが学習した表現から3Dメッシュを抽出します。

対象ユーザー

コンピュータビジョン、3D再構築、ニューラルレンダリングに取り組む研究者や開発者、特に制御されていない環境で撮影された屋外または屋内のシーンを扱う方。

ハイライト

• 野外シーンの再構築: 制御されていない環境で撮影された画像を処理するために特別に設計されています。
• メッシュ抽出: トレーニング済みのチェックポイントから高品質な3Dメッシュを抽出するツールが含まれています。
• カスタムデータサポート: 標準的なCOLMAPワークスペース形式からの自動および手動のデータ準備をサポートしています。
• Heritage-Recon データセット: 遺産サイトの専門的なデータセットで結果を再現するためのツールキットとパイプラインを提供します。