LiteReality/LiteReality
[NeurIPS 2025] LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans
解決的問題
LiteReality 將透過 LiDAR 裝置的 iPhone 等設備所擷取的原始 RGB-D 掃描資料，轉換為高品質、可直接用於圖形渲染的 3D 場景。它彌補了現實世界中雜亂的掃描資料與乾淨、可渲染的 3D 模型之間的差距，透過物理基礎渲染（PBR）材質重建場景。
工作原理
該系統透過多階段流程處理掃描資料：
- 物件重建：識別並重建掃描場景中的各個物件。
- 材質貼圖：為這些物件分配逼真的 PBR 材質，利用材質資料庫與多模態模型（包括 CLIP、DinoV2、Qwen-VL 和 SAM）確保視覺準確性。
- 場景整合：最終輸出整合為完整的 3D 場景，以 GLB 或原生 Blender 檔案格式匯出，適用於專業渲染。
適用對象
本工具專為電腦視覺、圖形學與機器人領域的研究人員與開發者設計，適用於需要將真實世界室內環境轉換為可編輯、高保真的 3D 數位雙生的使用者。
核心亮點
- 圖形就緒輸出：生成包含完整 PBR 材質的 GLTF/GLB 與 Blender 檔案。
- 多模態整合：利用先進的視覺-語言模型進行材質分配。
- 行動裝置相容：支援透過 Apple RoomPlan 與 3D Scanner App 擷取的掃描資料。
- 端到端流程：從原始 RGB-D 輸入到最終渲染視覺化，全程自動化處理。
相關
- 專案
- 專案
- 專案
- 專案
- 專案