LiteReality/LiteReality
[NeurIPS 2025] LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans
解决的问题
LiteReality 将通过 LiDAR 配备的 iPhone 等设备捕获的原始 RGB-D 扫描数据，转换为高质量、可直接用于图形渲染的 3D 场景。它弥合了现实世界中杂乱的扫描数据与干净、可渲染的 3D 模型之间的差距，通过物理基础渲染（PBR）材质重建场景。
工作原理
该系统通过多阶段流水线处理扫描数据：
- 物体重建：识别并重建扫描场景中的各个物体。
- 材质贴图：为这些物体分配逼真的 PBR 材质，利用材质数据库和多模态模型（包括 CLIP、DinoV2、Qwen-VL 和 SAM）确保视觉准确性。
- 场景整合：最终输出整合为完整的 3D 场景，以 GLB 或原生 Blender 文件格式导出，适用于专业渲染。
适用人群
本工具专为计算机视觉、图形学和机器人领域的研究人员与开发者设计，适用于需要将真实世界室内环境转换为可编辑、高保真的 3D 数字孪生的用户。
核心亮点
- 图形就绪输出：生成包含完整 PBR 材质的 GLTF/GLB 和 Blender 文件。
- 多模态集成：利用先进的视觉-语言模型进行材质分配。
- 移动端兼容：支持通过 Apple RoomPlan 和 3D Scanner App 捕获的扫描数据。
- 端到端流程：从原始 RGB-D 输入到最终渲染可视化，全程自动化处理。
相关
- 项目
- 项目
- 项目
- 项目
- 项目