cvg/vidmap

解決する課題

VidMap は、ビデオシーケンスから3D環境を再構築するように設計されたオフラインのStructure-from-Motion（SfM）システムです。ビデオデータに固有の時間的連続性を活用することで、カメラの姿勢、カメラ内部パラメータ、およびスパースな3Dマップを正確に推定するという課題に取り組みます。

仕組み

このシステムは、ビデオ対応フロントエンドと、来歴対応グローバルマッパーという2段階のパイプラインでビデオを処理します。フロントエンドは時間トラックの抽出、キーフレーム選択、深度推定を行い、グローバルマッパーはこれらの入力を使用して大域的最適化とバンドル調整を実行します。COLMAP などの確立されたツールを基盤としており、最適化段階のパフォーマンスを向上させるために GPU アクセラレーションをサポートしています。

対象読者

このプロジェクトは、3D再構築、SLAM（同時ローカリゼーションおよびマッピング）、およびビジュアルオドメトリに取り組む研究者やコンピュータビジョン実務者を対象としており、ビデオデータセットを処理するための堅牢なオフラインシステムを必要としています。

ハイライト

• 標準的な画像ベースのSfMよりも再構築精度を向上させるために時間構造を活用。
• パイプラインを細かく制御するための Hydra を使用した柔軟な設定システムを搭載。
• 処理を高速化するための GPU アクセラレーションによるグローバルポジショニングとバンドル調整をサポート。
• ブラウザベースのビューアや、ソルバー状態の再生と3Dフライスルーのための Rerun 統合を含む、組み込みの可視化ツールを提供。
• LaMAR、EuRoC、ETH3D-SLAM などの標準データセットに対する包括的なベンチマークサポートを含む。