HorizonRobotics/EmbodiedGen

Towards a Generative 3D World Engine for Embodied Intelligence

解决的问题

EmbodiedGen 是一个生成式 3D 世界引擎,旨在弥合高层意图与可执行仿真环境之间的差距。它使研究人员和开发者能够快速创建物理上合理的 3D 资产、大规模室内场景以及可立即部署到多个主流机器人仿真器中的交互式、任务驱动型世界,无需手动调整。

工作原理

该引擎将语言、图像和编辑命令编译为仿真就绪的资产。它使用可插拔的 3D 后端(如 SAM3D、TRELLIS 和 Hunyuan3D Pro)生成网格和 URDF。它可以仅通过文本或图像生成单个资产,构建具有可控复杂度的多房间房屋,并基于从自然语言任务描述中解析出的场景图生成复杂布局。

此外,它还具备「3D 氛围编码」功能,与 Claude Code 集成,允许用户通过自然语言对话界面,使用经过物理验证的技能调用构建和编辑世界。

适用人群

主要面向从事体化 AI、强化学习和仿真到现实迁移的机器人研究人员和 AI 开发者,为他们提供一种可扩展的方式,生成多样化的训练环境和资产。

主要亮点

  • 多仿真器支持:在 SAPIEN、Isaac Sim、Isaac Gym、MuJoCo、Genesis 和 PyBullet 中保持一致的几何和物理特性。
  • 代理式世界构建:通过 Claude Code 插件,实现自然语言对 3D 世界的编辑。
  • 仿真就绪资产:自动生成度量几何、凸碰撞代理和 VLM 推断的物理属性(质量、摩擦)。
  • 任务驱动组合:根据任务描述创建包含背景、上下文对象和机器人的交互式 3D 世界。
  • 机器人学习集成:支持并行 gym 环境,用于在线训练和评估抓取质量。

相关

  • 项目
  • 项目
  • 项目
  • Dispatch
  • 项目