LiteReality/LiteReality-Agent

LiteReality-Agent – 스마트폰으로 촬영한 방 스캔을 물리 기반 3D 시뮬레이션으로 변환

개요 – LiteReality iOS 스캔 앱으로 생성된 RGB-D 스캔을 가져와 완전히 관절이 구현된 시뮬레이션용 실내 장면을 자동으로 구축하는 오픈소스 엔드투엔드 툴킷입니다. 이 파이프라인은 AI 기반 모듈(레이아웃 정리, 객체 관절 구현, 재질 생성, 물리 매개변수 추론)을 실행하여 최종적으로 MuJoCo 호환 URDF/MJCF 파일, Blender 장면 또는 GLB 에셋으로 결과를 내보냅니다.

중요성 – 로봇 공학 연구자와 개발자는 시뮬레이션이나 강화 학습 실험에 장면을 사용하기 전에 수동으로 스캔을 정리하고, 충돌체를 추가하며, 질량을 할당하는 데 많은 시간을 소비합니다. LiteReality-Agent는 이 전체 워크플로우를 자동화하여 30초 분량의 스마트폰 스캔만으로도 현실적인 질량, 관성, 관절 및 충돌 지오메트리를 갖춘 MuJoCo 장면을 단일 명령으로 생성할 수 있게 합니다.

주요 기능 (README 설명 기준)

기능	저장소 역할
스캔 수집	LiteReality Scanner가 생성한 `room.usdz` 패키지(RGB 프레임, 깊이, 지오메트리)를 수용합니다.
레이아웃 정리	레이아웃 에이전트가 객체를 구축하기 전에 노이즈가 많은 원시 스캔 데이터를 충돌 없는 평면도로 해결합니다.
관절 에셋 생성	Articraft 접근 방식을 사용하여 객체 부품, 관절, 질량, 관성 및 충돌체를 추론합니다. 각 객체는 별도의 강체(rigid body)가 됩니다.
재질 및 시각적 개선	LLM 기반 에이전트(GPT-6 기반 `codex`, `claude`)와 이미지 생성 API(OpenAI 또는 Gemini)를 호출하여 참조 텍스처를 합성하고 시각적 충실도를 높입니다.
물리 내보내기	MuJoCo에 직접 로드할 수 있는 URDF 및 MJCF 파일을 생성합니다. 또한 Unity/Unreal/웹 뷰어를 위한 Blender(`.blend`) 및 GLB 파일도 출력합니다.
실시간 미리보기	`--live` 옵션을 사용하면 CLI가 장면이 단계별로 구축되는 과정을 보여주는 웹 뷰어를 스트리밍합니다.
흔들림 테스트	내장된 MuJoCo “흔들림(shake)” 단계가 객체의 움직임을 측정하여 물리 매개변수가 적절한지 확인합니다.

일반적인 워크플로우

캡처 – 무료 LiteReality Scanner iOS 앱을 사용하여 방을 촬영합니다(room.usdz 생성).
업로드 – 스캔 폴더를 툴킷을 실행할 머신으로 복사합니다.
설정 – uv를 사용하여 Python 환경을 설치하고, BLENDER_PATH를 Blender 5.x로 지정하며, API 키(OPENAI_API_KEY 또는 GEMINI_API_KEY)와 호스팅된 GPU 모델을 위한 Modal 토큰을 제공합니다.
실행 – 단일 명령으로 모든 작업을 수행합니다:
```
uv run litereality run scans/<your-scan>
```
1단계(scene init)는 결정론적 시드 룸을 생성하고, 2단계(authoring)는 지오메트리 개선, 관절 추가, 재질 다듬기를 수행하는 에이전트 패스를 실행합니다.
시뮬레이션 – MuJoCo로 내보내고 선택적으로 흔들림 테스트를 실행합니다:
```
uv run litereality stage simulate run/<scan> --shake
```
검사 – 로컬 또는 대화형 웹 뷰어에서 최종 GLB/Blender 파일을 확인합니다.

설치 하이라이트

패키지 관리자: uv (빠르고 결정론적인 락파일). uv sync --frozen --extra modal --group dev로 설치합니다.
의존성: Blender 5.x, GPU 지원 모델 백엔드(TRELLIS + GroundingDINO). 기본적으로 이러한 무거운 모델은 Modal(무료 티어)에서 실행되므로 GPU가 없는 Mac에서도 툴킷을 사용할 수 있습니다.
환경 변수: 이미지 생성용 API 키, Modal 자격 증명, BLENDER_PATH, 스캔이 포함된 디렉토리.
일회성 모델 배포: uv run litereality setup이 원격 컨테이너를 프로비저닝합니다.

권장 사용자

로봇 공학 연구자: Sim-to-Real 전송, 조작 계획 또는 강화 학습을 위해 현실적인 실내 환경이 필요한 분.
게임/VR 개발자: 실제 방의 물리적으로 정확한 프로토타입을 빠르게 만들고 싶은 분.
컴퓨터 비전 연구소: 3D 재구성, 레이아웃 추론 또는 관절 객체 감지를 연구하는 분.
교육자: 센서 데이터에서 시뮬레이션까지의 엔드투엔드 파이프라인을 시연하려는 분.

현재 상태 (README 기준)

버전 0.0 2026-08-01 출시.
시뮬레이션 준비 완료(MuJoCo 내보내기) 2026-09-12 추가.
절차적 물리(질량, 관성, 관절) Articraft를 통해 2026-09-09 통합.
레이아웃 에이전트 2026-09-07 도입.
논문 arXiv (2610.01863) 2026-10-01 게재.

인용

연구에 이 시스템을 사용하는 경우, 동봉된 arXiv 논문을 인용하십시오:

@misc{huang2026literealityagentagenticinteractable3d,
  title = {LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction},
  author = {Zhening Huang and Yueyan Li and Johnathan Chiu and Xiaoyang Lyu and Matt Zhou and Yuxin Yao and Joan Lasenby and Shangzhe Wu},
  year = {2026},
  eprint = {2610.01863},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.01863}
}

결론 – LiteReality-Agent는 모바일 RGB-D 스캔과 물리 기반 시뮬레이션을 연결하는 진정한 연구급 오픈소스 시스템으로, 전통적으로 수동 3D 모델링 및 리깅이 필요했던 많은 단계를 자동화합니다.