cre185/InstantSfM

何を解決するか

InstantSfMは、従来のStructure from Motion (SfM) パイプラインの効率的なボトルネックを解決します。これらのパイプラインは通常遅く、現代のGPUハードウェアに完全に最適化されていません。GPUネイティブなアプローチにより、2D画像のコレクションから3D構造を再構成するプロセスを高速化し、ディープラーニングワークフローとより互換性を持たせます。

どう動くか

このプロジェクトは、以下の3つの主要ステージからなる完全なSfMパイプラインを実装しています：

1. 特徴抽出とマッチング：デフォルトでCOLMAPを使用して、画像間のキーポイントを識別します。
2. グローバルSfMとバンドル調整：GPUネイティブな演算を使用して3D構造とカメラポーズを計算し、再構成を最適化します。
3. 3Dガウススプラッティング (3DGS)：再構成されたデータに基づいて3DGSモデルをトレーニングするための統合サポートを提供します。

SIMD対応のデータ構造を使用して処理速度を向上させ、baeなどのツールと連携してエイジャーモードでのバンドル調整を実現しています。

対象ユーザー

このツールは、コンピュータビジョン、ロボット工学、3D再構成に取り組む研究者や開発者向けに設計されており、画像から3Dモデルを生成するための高パフォーマンスでGPU加速されたパイプラインが必要な方々に最適です。

特徴

• GPUネイティブアーキテクチャ：NVIDIA GPUに最適化され、SfMプロセスを加速します。
• エンドツーエンドパイプライン：特徴抽出から3DGSトレーニングまでをカバーします。
• インタラクティブな可視化：リアルタイムでの再構成プロセスの可視化や、記録された再構成の再生を可能にするGUIを備えています。
• メトリック深度サポート：Video Depth Anythingを使用して、動画からメトリックスケールの深度推定を行うためのツールを含んでいます。