apple-aiml-research/ml-sharp

何を解決するか

SHARPは単一の画像から写真のようにリアルなビュー合成を可能にします。1枚の写真から高解像度で3D的に一貫したシーンのビューを、従来の3D再構成に伴う長時間の処理を避けながら、迅速かつ計測可能な正確さで生成する問題を解決します。

動作方法

このシステムは、シーンの3Dガウス表現（3Dガウススプラッティング）のパラメータを回帰するためのニューラルネットワークを用いて、単一のフォワードパスを実行します。このプロセスは標準のGPU上で1秒未満で完了します。得られた3D表現は計測可能（メトリック）であり、絶対的なスケールを持ち、リアルタイムでレンダリング可能で、近接した視点からの画像を生成できます。

対象ユーザー

このツールは、コンピュータビジョン、3Dシーン再構成、写真レベルのレンダリングに取り組む研究者や開発者向けに設計されており、単一画像からのビュー合成において、高速かつゼロショットの汎化性能が必要な人向けです。

特徴

• 極めて高速: 単一のフォワードパスにより、1秒未満で3D表現を生成。
• 高忠実度: 以前の最先端モデルと比較して、LPIPSおよびDISTSの誤差を大幅に低減。
• 計測可能なスケール: 正確なメトリックカメラ移動を可能にする絶対スケールをサポート。
• 広範な互換性: さまざまな公開の3Dガウススプラッティングレンダラと互換性のある .ply ファイルを出力。