xavierpuigf/virtualhome

What it solves

VirtualHome 提供一个模拟环境用于复杂的家庭活动，让研究人员能够生成合成数据并训练具身 AI 任务的代理，而无需在真实住宅中使用实体机器人。它解决了数据稀缺以及在训练 AI 代理与居家环境交互时的安全风险问题。

How it works

平台使用基于 Unity 的模拟器进行视觉渲染，并通过 Python API 执行“程序”（动作序列）。它提供两种主要的模拟模式：

• Unity Simulator：根据 Python 脚本渲染高保真视频和活动快照。
• Evolving Graph：一个轻量级、仅使用 Python 的模拟器，将环境状态以图的形式追踪，表示对象及其关系随时间的变化。

Who it’s for

它面向具身 AI、强化学习和计算机视觉领域的研究者，提供受控环境来模拟类人活动并生成真实标注数据（如语义分割和光流）。

Highlights

• Interactive Environment：支持复杂交互，如拾取物体和操作家电。
• Procedural Generation：能够创建无限多样的独特家庭环境。
• RL Integration：包含类似 OpenAI Gym 的环境，并兼容 Ray 用于并行训练。
• Ground-Truth Streaming：提供时间戳的动作、深度和实例/语义分割。
• Multi-Agent Support：允许模拟涉及多个代理的活动。