OpenImagingLab/AnyRecon

解決的問題

AnyRecon 解決了任意視角 3D 重建的挑戰。它允許使用者從一組捕獲視角生成高品質的 3D 重建，進而能創建從任何期望相機軌跡展示場景的影片。

工作原理

該系統使用影片擴散模型（特別是 Wan2.1 I2V）結合 LoRA 權重來精煉與重建 3D 場景。它依賴點群渲染流程（π³）從捕獲視角生成條件影片。這些條件影片以及估計或自訂的相機位姿，引導影片擴散模型在不同視角下生成一致的 3D 重建。

適用對象

此專案適用於從事 3D 電腦視覺、神經渲染與生成式 AI 的研究人員與開發者，特別是那些希望將影片擴散模型整合用於 3D 場景重建的人。

主要亮點

• 任意視角重建： 生成可從任意角度觀看的 3D 場景。
• 影片擴散模型整合： 利用預訓練的 Wan2.1 I2V 模型實現高保真視覺合成。
• 自訂軌跡： 支援從測試視角影像中估計位姿，也支援手動指定相機軌跡。
• 點群引導： 使用 π³ 進行初始點群渲染，為擴散過程提供結構引導。