borglab/gtsfm

解決する課題

Georgia Tech Structure-from-Motion (GTSfM) は、2D画像から3Dシーンを再構築するために設計されたエンドツーエンドのパイプラインです。従来のStructure-from-Motion (SfM) における計算負荷の高さに対し、モジュール化された並列アーキテクチャを提供することで、分散コンピューティングを活用して大規模な再構築タスクを効率的に処理します。

仕組み

GTSfMは、GTSAMライブラリの上に構築されたモジュール設計を採用しています。フロントエンドで特徴点の検出とマッチング（SIFT、SuperPoint、SuperGlueなどの手法を使用）を行い、バックエンドで回転平均、並進平均、バンドル調整を実行してカメラポーズと3Dジオメトリを推定します。パイプライン全体はDaskを使用して並列化されており、複数のCPU/GPUワーカーにまたがってスケーリング可能です。データセットの管理、モデルの設定、3D結果の可視化（Gaussian Splattingのサポートを含む）を行うためのブラウザベースのstudioインターフェースが含まれています。

対象ユーザー

このプロジェクトは、3D再構築、写真測量、またはロボティクスに取り組む研究者、コンピュータビジョンエンジニア、開発者を対象としています。ローカルマシンや分散クラスターにデプロイ可能な、スケーラブルで拡張性が高く、高性能なSfMパイプラインを必要とする方に最適です。

ハイライト

• 分散アーキテクチャ： Daskを使用した並列計算をネイティブサポートし、大規模な再構築を高速化します。
• モジュール設計： 特徴検出、記述、マッチング、バンドル調整のためのコンポーネントを高度に入れ替え可能です。
• GTSFM Studio： 実行管理、ログ監視、3D再構築の可視化を行うための組み込みブラウザベースのワークスペースです。
• 多様な出力： COLMAPなどの標準フォーマットをサポートし、NerfstudioのようなNeRFベースのパイプライン向けの統合スクリプトを提供します。
• 柔軟なデプロイ： ローカル実行、リモートGPUクラスターへのジョブ投入、Google Colab統合をサポートしています。