zju3dv/habitat-gs

何を解決するか

Habitat-GS は、体現型AI研究向けに設計された高精細なナビゲーションシミュレータです。従来のメッシュベースのシミュレータの限界を超えて、シミュレーション環境内で写実的なレンダリングと高精細な動的アバターを実現する問題を解決します。同時に、標準的なナビゲーションフレームワークとの互換性を維持しています。

動作方法

Habitat-Sim の非侵襲的な拡張として機能し、レンダリングの基盤を 3D ガウススプラッティング（3DGS）に置き換えます。これにより、実際のシーンを写実的にレンダリングし、GaussianAvatar や AnimatableGaussians などのモジュールを使用して動的で人間型のガウスアバターを駆動できます。実行時のニューラルフォワードパスは不要です。Habitat-Lab と統合されてタスク定義や学習が可能で、3DGS シーンから直接ナビゲーションメッシュ（歩行可能領域）を作成できるウェブベースのツールも含まれています。

対象ユーザー

体現型AIおよびロボティクスの研究者で、ナビゲーションエージェント（PointNav、ImageNav、ObjectNav など）や視覚言語ナビゲーション（VLN）タスクの訓練・評価に、極めて現実的な視覚環境が必要な方々です。

特徴

• 写実的なレンダリング：高精細な視覚表現を実現するため、3D ガウススプラッティングを使用。
• 動的ガウスアバター：効率的な CUDA LBS レンダリングを備えた人間型アバターをサポート。
• Habitat 統合：Habitat-Sim のシーンデータセット抽象化、ナビゲーションメッシュ経路探索、Habitat-Lab 統合との互換性を維持。
• 包括的なツールセット：ナビゲーションメッシュエディタ、インタラクティブビューア、自然言語探索用のLLM駆動エージェント「HabitatAgent」を含む。
• 豊富なデータセット：129の高品質なGSシーンからなるデータセットを提供。