facebookresearch/map-anything

解決する課題

MapAnythingは、メトリック3D再構成のためのユニバーサルなフレームワークを提供します。これは、マルチイメージ構造復元（SfM）、マルチビューステレオ、単眼メトリック深度推定、レジストレーションなどのさまざまな3Dタスクを、各タスク専用のツールではなく、単一の統合されたフィードフォワードモデルを使用して実行するという課題に対処します。

仕組み

このプロジェクトの核となるのは、シーンの分解されたメトリック3D幾何学を回帰する、エンドツーエンドでトレーニングされたTransformerモデルです。入力の柔軟性が非常に高く、画像、カメラキャリブレーション（内部パラメータまたはレイ方向）、カメラポーズ、または深度マップの任意の組み合わせをユーザーが提供できます。このフレームワークはモジュール式に設計されており、統一されたインターフェースを通じて他の3D再構成モデル（DUSt3R、MASt3R、VGGTなど）をラップできるため、すべての出力が一貫した形式（例：3D点、カメラポーズ、信頼度スコア）に従うことを保証します。

対象者

このフレームワークは、異なる入力モダリティにわたってメトリック3D再構成のための多用途なツールを必要とする、3Dコンピュータビジョン、ロボティクス、および空間AIの分野で活動する研究者や開発者を対象としています。

ハイライト

• ユニバーサルモデル: 12種類以上の異なる3D再構成タスクをサポートする単一のフィードフォワードモデル。
• マルチモーダルな柔軟性: 画像、キャリブレーション、深度、ポーズの任意の組み合わせを入力としてサポート。
• モジュール設計: さまざまな外部3D再構成モデルを交換可能な形で使用するための統一インターフェース。
• メモリ効率: ハイエンドGPU上で最大2,000ビューを処理できるメモリ効率の高い推論モードを含む。
• 包括的なスタック: データ処理、トレーニング、推論、プロファイリングを含む完全なパイプラインを提供。