zju3dv/habitat-gs

해결하는 문제

Habitat-GS는 체화형 AI 연구를 위한 고정밀 내비게이션 시뮬레이터입니다. 전통적인 메시 기반 시뮬레이터의 한계를 넘어서 시뮬레이션 환경 내에서 사진처럼 사실적인 렌더링과 고정밀 동적 아바타를 달성하는 문제를 해결합니다. 동시에 표준 내비게이션 프레임워크와의 호환성을 유지합니다.

작동 방식

Habitat-Sim의 비침습적 확장으로, 렌더링 백본을 3D 가우시안 스플래터링(3DGS)으로 대체합니다. 이로 인해 실시간 신경망 전방 계산 없이도 사진처럼 사실적인 장면을 렌더링하고, GaussianAvatar 및 AnimatableGaussians와 같은 모듈을 사용해 동적 인간형 가우시안 아바타를 구동할 수 있습니다. Habitat-Lab과 통합되어 작업 정의 및 학습이 가능하며, 3DGS 장면에서 직접 NavMesh(보행 가능한 영역)를 생성할 수 있는 웹 기반 도구도 포함되어 있습니다.

대상 사용자

PointNav, ImageNav, ObjectNav와 같은 내비게이션 에이전트 및 시각-언어 내비게이션(VLN) 작업을 훈련 및 평가하기 위해 극도로 현실적인 시각 환경이 필요한 체화형 AI 및 로봇 공학 연구자들에게 주로 적합합니다.

주요 특징

• 사진처럼 사실적인 렌더링: 고정밀 시각 표현을 위해 3D 가우시안 스플래터링 사용.
• 동적 가우시안 아바타: 효율적인 CUDA LBS 렌더링을 지원하는 인간형 아바타.
• Habitat 통합: Habitat-Sim의 장면 데이터셋 추상화, NavMesh 경로 탐색, Habitat-Lab 통합과의 호환성 유지.
• 포괄적인 도구 세트: NavMesh 편집기, 인터랙티브 뷰어, 자연어 탐색을 위한 LLM 기반 에이전트 시스템인 HabitatAgent 포함.
• 풍부한 데이터셋: 129개의 고품질 GS 장면으로 구성된 데이터셋 제공.