zju3dv/habitat-gs

解決的問題

Habitat-GS 是一個為具身智能研究設計的高保真導航模擬器。它解決了在模擬環境中實現照片級渲染與高保真動態化身的問題，突破傳統基於網格模擬器的限制，同時維持與標準導航框架的相容性。

工作原理

它作為 Habitat-Sim 的非侵入式擴展，將渲染核心替換為 3D 高斯點雲（3DGS）。這使得模擬器能夠渲染照片級真實感的場景，並驅動動態的人形高斯化身（使用 GaussianAvatar 和 AnimatableGaussians 等模組），而無需在執行時進行神經網路前向傳播。它與 Habitat-Lab 集成以定義任務與訓練，還包含一個基於網頁的工具，可直接從 3DGS 場景建立 NavMesh（可行走區域）。

適用對象

主要面向需要高度逼真視覺環境來訓練與評估導航智能體（如 PointNav、ImageNav 和 ObjectNav）以及視覺-語言導航（VLN）任務的具身智能與機器人學研究人員。

主要亮點

• 照片級渲染：使用 3D 高斯點雲實現高保真視覺效果。
• 動態高斯化身：支援使用高效 CUDA LBS 渲染的人形化身。
• Habitat 集成：保持與 Habitat-Sim 的場景資料集抽象、NavMesh 路徑規劃以及 Habitat-Lab 集成的相容性。
• 全面的工具鏈：包含 NavMesh 編輯器、互動式檢視器，以及名為 HabitatAgent 的 LLM 驅動的智能體系統，支援自然語言探索。
• 豐富的資料集：提供包含 129 個高品質 GS 場景的資料集。