inspatio/querysplat

解決する課題

QuerySplatは、画像から3D Gaussian Splatting (3DGS) 表現を予測する課題に対処します。具体的には、幾何学と外観の表現を分離することで、3Dシーン再構成の品質と精度を向上させます。

仕組み

このシステムは、レンダリング用の3Dガウスを予測するためのフィードフォワードモデルを使用します。画像エンコーディング、カメラ予測、深度予測にはVGGT-Omegaを活用します。プロセスにはカスタム画像の前処理が含まれ、LPIPS重みを使用して再構成目的を洗練させるための任意のテスト時最適化 (TTO) によって強化できます。提供されたデータセットのポーズに依存せず、独自のカメラパラメータを推定する「ポーズフリー」モードで動作させることも可能です。

対象者

このプロジェクトは、3Dシーン再構成、ニューラルレンダリング、コンピュータビジョンに取り組んでいる研究者や開発者、特に効率的な3D Gaussian Splatting予測に興味がある方々を対象としています。

ハイライト

• 分離された表現: 3DGS予測を向上させるために幾何学と外観を分離します。
• ポーズフリー機能: 外部のポーズデータを必要とせず、内部でカメラパラメータを推定できます。
• テスト時最適化: シーンの品質をさらに洗練させるための任意のTTOステップを含みます。
• 統合: 堅牢な画像エンコーディングと深度/カメラ予測のためにVGGT-Omegaに基づいて構築されています。