facebookresearch/mvdust3r

解決する課題

MV-DUSt3R+ は、少数のRGB画像（スパースビュー）から高速な単一ステージの3Dシーン再構成を可能にします。事前に計算されたカメラポーズを必要としないため、カメラの正確な位置を知らなくても、画像やビデオからシーンを再構成できます。

仕組み

このプロジェクトは、DUSt3Rモデルのファインチューニング版です。複数のRGB画像またはビデオフレームを処理し、単一のステップで3Dポイントクラウドとカメラポーズを予測します。可変的なビュー数（4〜12個）に対応しており、再構成における低品質なポイントをフィルタリングするための信頼度しきい値を提供します。

対象者

コンピュータビジョン、3D再構成、空間AIの研究者や開発者、特に、個別のステップとして明示的なカメラキャリブレーションやポーズ推定を必要としない高速な再構成パイプラインを探している方に適しています。

ハイライト

• ポーズ不要の再構成: カメラポーズを必要とせず、RGB画像のみから3Dシーンを再構成します。
• 単一ステージプロセス: 多段階のパイプラインではなく、単一のステップで再構成を実行します。
• 極めて高速: 約2秒でシーンを再構成できます。
• 多様な入力: 複数の静止画とビデオファイルの両方をサポートしています。
• 追加機能: 相対的なポーズ推定と新しいビューの合成をサポートしています。