apple-aiml-research/ml-sharp

解決的問題

SHARP 可從單張影像實現逼真的視角合成。它解決了僅憑一張照片快速生成高解析度、3D 一致的場景視角並保持度量準確性的問題，避免了傳統 3D 重構通常伴隨的長時間處理。

作用方式

該系統使用神經網路執行一次前向傳播，回歸場景的 3D 高斯表示（3D 高斯點雲）的參數。此過程在標準 GPU 上耗時不到一秒。生成的 3D 表示具有度量性質，即具備絕對尺度，可即時渲染，從而生成鄰近視角的影像。

適用對象

本工具專為從事電腦視覺、3D 場景重構和逼真渲染的研究人員與開發者設計，適用於需要單目視角合成中快速、零樣本泛化能力的使用者。

主要亮點

• 極高速度：透過一次前向傳播在不到一秒內生成 3D 表示。
• 高保真度：相比以往最先進模型，顯著降低 LPIPS 與 DISTS 錯誤。
• 度量尺度：支援絕對尺度，實現精確的度量相機移動。
• 廣泛相容性：產生與多種公開 3D 高斯點雲渲染器相容的 .ply 檔案。