apple-aiml-research/ml-depth-pro

何を解決するか

Depth Pro は、カメラの内部パラメータ（イントリンシック）を必要とせずに、単一画像（モノクロナル深度推定）から正確で高解像度のメトリック深度を推定する課題に対処します。速度、解像度、シャープネスのトレードオフを特に解決し、細かい境界詳細を含む絶対スケールの予測を提供します。

仕組み

このシステムは、密な予測に適した効率的なマルチスケールビジョントランスフォーマーに基づくファウンデーションモデルを使用しています。リアルデータと合成データの両方を組み合わせたトレーニングプロトコルにより、高いメトリック精度と正確な境界追跡を両立させました。モデルは単一の画像から焦点距離を推定でき、標準GPU上で約0.3秒で225万画素の深度マップを生成します。

対象ユーザー

コンピュータビジョン、ロボティクス、3D再構成に取り組む研究者や開発者で、標準画像から高速かつゼロショットでメトリック深度を推定する必要がある方々に適しています。

特徴

• ゼロショットメトリック深度: カメラのイントリンシックを必要とせず、絶対スケールを予測します。
• 高速性: GPU上で225万画素の深度マップを0.3秒未満で生成します。
• シャープな詳細: 高周波成分や細かい境界の追跡に重点を置いています。
• 統合評価: 深度マップにおける境界精度を測定する専用メトリクスを含んでいます。