HiP3Rs/HiP3R

解決する問題

HiP3R は、長いビデオシーケンスから正確な3D再構築を作成するという課題に対処します。長いシーケンスを管理可能な重複チャンクに分割し、階層的なポーズグラフを使用することで、空間的一貫性を維持し、長時間にわたってカメラ位置を洗練します。

仕組み

このシステムは、ビデオ入力をチャンクに分割して処理します——VGGT-Omega バックエンドでは60フレーム、LingBot-MAP では120フレームです。SALAD を使用してループ検索を行い、カメラが場所を再訪するタイミングを特定し、チャンクを正しく整列させるのに役立ちます。その後、キーフレームのポーズ洗練を実行して、最終的な3D再構築が滑らかで正確であることを保証します。

対象者

このツールは、コンピュータビジョンと3Dシーン再構築に取り組む研究者や開発者向けに設計されており、長時間のビデオデータを構造化されたカメラポーズと点群に処理する必要があります。

ハイライト

• VGGT-Omega や LingBot-MAP を含む複数のバックエンドモデルをサポート。
• SALAD を統合し、堅牢なループ検索で整列を改善。
• 標準的なカメラからワールドへの行列と内部パラメータ行列を出力し、他のツールとの統合が容易。
• 大規模な再構築を効率的に処理するためのモジュール式チャンクベースのデータストレージを提供。