OpenImagingLab/AnyRecon

解决的问题

AnyRecon 解决了任意视角 3D 重建的挑战。它允许用户从一组捕获视图生成高质量的 3D 重建，从而能够创建从任意期望相机轨迹展示场景的视频。

工作原理

该系统使用视频扩散模型（特别是 Wan2.1 I2V）结合 LoRA 权重来精炼和重建 3D 场景。它依赖于点云渲染管道（π³）从捕获视图生成条件视频。这些条件视频以及估计或自定义的相机位姿，引导视频扩散模型在不同视角下生成一致的 3D 重建。

适用人群

该项目适用于从事 3D 计算机视觉、神经渲染和生成式 AI 的研究人员和开发者，特别是那些希望将视频扩散模型集成用于 3D 场景重建的人。

主要亮点

• 任意视角重建： 生成可以从任意角度观看的 3D 场景。
• 视频扩散模型集成： 利用预训练的 Wan2.1 I2V 模型实现高保真视觉合成。
• 自定义轨迹： 支持从测试视图图像中估计位姿，也支持手动指定相机轨迹。
• 点云引导： 使用 π³ 进行初始点云渲染，为扩散过程提供结构引导。