LiteReality/LiteReality

[NeurIPS 2025] LiteReality: Graphics-Ready 3D Scene Reconstruction from RGB-D Scans

해결하는 문제

LiteReality는 LiDAR를 탑재한 iPhone과 같은 장치로 캡처한 원시 RGB-D 스캔을 고품질의 그래픽 대응 3D 장면으로 변환합니다. 현실 세계의 복잡한 스캔과 깔끔하고 렌더링 가능한 3D 모델 사이의 격차를 메우기 위해 물리 기반 렌더링(PBR) 재질을 사용하여 장면을 재구성합니다.

작동 방식

이 시스템은 다단계 파이프라인을 통해 스캔을 처리합니다:

객체 재구성: 스캔된 장면 내의 개별 객체를 식별하고 재구성합니다.
재질 칠하기: 현실감 있는 PBR 재질을 이러한 객체에 할당합니다. 재질 데이터베이스와 다중 모달 모델(CLIP, DinoV2, Qwen-VL, SAM 등)을 활용하여 시각적 정확성을 보장합니다.
장면 통합: 최종 출력은 완전한 3D 장면으로 통합되어 GLB 또는 네이티브 Blender 파일로 내보내져 전문 렌더링에 사용할 수 있습니다.

대상 사용자

이 도구는 컴퓨터 비전, 그래픽스, 로보틱스 분야의 연구자 및 개발자들을 위한 것으로, 실제 실내 환경을 편집 가능하고 고정밀도의 3D 디지털 트윈으로 변환해야 하는 사람들을 대상으로 합니다.

주요 특징

그래픽 대응 출력: 완전한 PBR 재질을 갖춘 GLTF/GLB 및 Blender 파일을 생성합니다.
다중 모달 통합: 재질 할당에 고급 비전-언어 모델을 활용합니다.
모바일 호환성: Apple RoomPlan 및 3D Scanner App으로 캡처한 스캔과 호환됩니다.
엔드투엔드 파이프라인: 원시 RGB-D 입력부터 최종 렌더링 시각화까지 모든 과정을 처리합니다.

LiteReality/LiteReality

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련