zju3dv/habitat-gs

解决的问题

Habitat-GS 是一个为具身智能研究设计的高保真导航模拟器。它解决了在仿真环境中实现照片级渲染和高保真动态化身的难题，突破了传统基于网格模拟器的限制，同时保持与标准导航框架的兼容性。

工作原理

它作为 Habitat-Sim 的非侵入式扩展，将渲染核心替换为 3D 高斯点云（3DGS）。这使得模拟器能够渲染照片级真实感的场景，并驱动动态的人形高斯化身（使用 GaussianAvatar 和 AnimatableGaussians 等模块），而无需在运行时进行神经网络前向传播。它与 Habitat-Lab 集成以定义任务和训练，还包含一个基于网页的工具，可直接从 3DGS 场景创建 NavMesh（可行走区域）。

适用对象

主要面向需要高度逼真视觉环境来训练和评估导航智能体（如 PointNav、ImageNav 和 ObjectNav）以及视觉-语言导航（VLN）任务的具身智能与机器人学研究人员。

主要亮点

• 照片级渲染：使用 3D 高斯点云实现高保真视觉效果。
• 动态高斯化身：支持使用高效 CUDA LBS 渲染的人形化身。
• Habitat 集成：保持与 Habitat-Sim 的场景数据集抽象、NavMesh 路径规划以及 Habitat-Lab 集成的兼容性。
• 全面的工具链：包含 NavMesh 编辑器、交互式查看器，以及名为 HabitatAgent 的 LLM 驱动的智能体系统，支持自然语言探索。
• 丰富的数据集：提供包含 129 个高质量 GS 场景的数据集。