nv-tlabs/vipe
ViPE: Video Pose Engine for Geometric 3D Perception
何を解決するか
ViPEは、原始的な動画から幾何学的な3D情報を抽出するための空間AIツールです。カメラの姿勢や密な深度マップを手動でアノテーションする問題を解決し、標準的なピンホール、広角、360度パノラマ動画を含む幅広い動画タイプに対して自動化されたプロセスを提供します。
動作方法
ViPEは、制約のない原始動画からカメラの内部パラメータ、カメラの運動（姿勢）、および密な近似メトリック深度マップを推定します。標準的な動画では固定サイズのキーフレームバッファを使用します。任意に長い動画に対しては、pose_only_longパイプラインを採用し、スライディングキーフレームウィンドウとトラジェクトリーレッダーを用いて、動画の長さに関係なくGPUおよびCPUのメモリ使用量を一定かつ制限された状態に保ちます。
対象ユーザー
このツールは、3D認識、空間AI、動画解析に取り組む開発者や研究者向けです。原始動画から正確なカメラの軌道と深度マップが必要な方々に最適です。
特徴
- 多様な動画対応: ピンホール、広角、360度パノラマ動画をすべて対応。
- メモリ効率: 長時間の動画シーケンスに対応する専用パイプラインを備え、メモリの増加を防ぎます。
- 高性能: CUDAの融合カーネルとパイプラインキャッシュにより、大幅な高速化を実現。
- 柔軟な深度統合: Depth-Anything 3やMoGe v2など、さまざまな深度推定モデルと統合可能。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト