borglab/gtsfm

何を解決するか

GTSfM は、2D イメージのコレクションから 3D シーンを再構築するためのエンドツーエンドの Structure-from-Motion (SfM) パイプラインを提供します。特に、3D 再構築におけるスケーラブルで分散型の計算の必要性に対応し、より大きなデータセットをより効率的に処理できるように、複数のマシンやワーカーに並列化できるように設計されています。

どう動くか

このプロジェクトは GTSAM の上に構築されており、Dask を使ってネイティブな並列計算を実現しています。モジュールアーキテクチャを採用しており、SfM パイプラインの異なるコンポーネントを簡単に交換できます：

• フロントエンド：キーポイント検出、特徴記述（SIFT や SuperPoint などのツールを使用）、マッチング（例：SuperGlue）、対応関係の検証を処理。
• 平均化：回転と並進の平均化を実装し、初期のポーズを確立。
• データ関連付け：2D トラックから 3D ポイントの三角測量を実行。
• バンドル調整：3D 構造とカメラポーズを最適化。
• 密度化：高精度なシーン表現のための密度付き Multi-View Stereo (MVS) と Gaussian Splatting をサポート。

どんな人向けか

コンピュータビジョン、ロボティクス、3D 再構築に取り組む研究者や開発者向けに設計されています。COLMAP、Argoverse、Tanks and Temples などのさまざまなデータセット形式を処理できる高性能で分散型のパイプラインが必要な方々に最適です。

特徴

• 分散処理：Dask を使ってネイティブに並列計算をサポート。マルチマシンクラスタへのデプロイも可能。
• モジュール設計：抽象基底クラスにより、検出器、記述子、マッチャーの交換が容易。
• ディープラーニング統合：SuperPoint、SuperGlue、PatchmatchNet の事前学習済み重みをサポート。
• 広範な互換性：多数の業界標準データセットのローダーを含み、Nerfstudio 用の変換スクリプトも提供。
• 可視化：Open3D と COLMAP GUI を統合して再構築されたシーンを視覚化可能。