microsoft/MoGe

何を解決するか

MoGeは、単一のオープンドメイン画像から正確な3Dジオメトリを復元する課題に対処します。単一のフォワードパスでメトリックなポイントマップ、メトリックな深度マップ、法線マップ、およびカメラの視野角（FOV）を推定できるため、複数の専門的なモデルを必要としなくなります。

仕組み

MoGeは、モノクロ画像を分析し、その3D構造を予測するディープラーニングモデル（ViT-SからViT-Gまでのバージョンあり）を使用しています。最新バージョンであるMoGe-3は、細粒度のジオメトリを改善するための自己ガイド付きスパースボリュームリファインメントを導入しています。モデルはカメラのFOVを自動的に推定するか、正確なFOVを提供することで精度を向上させることができます。柔軟な解像度とアスペクト比をサポートしており、FP16精度を使用して速度最適化も可能です。

対象ユーザー

このツールは、コンピュータビジョン、3D再構成、拡張現実分野で作業している研究者や開発者向けに設計されており、標準的な2D写真から正確なメトリックな3Dデータを抽出する必要がある人を対象としています。

特徴

• ワンストップ推定: ポイントマップ、深度マップ、法線マップを同時に予測します。
• メトリックスケール: 実際のメトリックスケールでのジオメトリを提供します（MoGe-2およびMoGe-3で利用可能）。
• 高い効率性: 高性能GPU（A100/RTX3090）で1画像あたり60msの遅延を達成します。
• パノラマ対応: 360°等距離投影パノラマ画像の処理を実験的にサポートする拡張機能を備えています。
• 柔軟な出力: 3Dソフトウェアで使用可能な .glb または .ply ファイルとして結果をエクスポートできます。

3D再構成の分野では、単一画像からのメトリックなジオメトリ推定が大きな課題です。MoGeは、この課題を一歩前進させる可能性を秘めています。— @yuanzhoulvpi