xavierpuigf/virtualhome

API to run VirtualHome, a Multi-Agent Household Simulator

What it solves

VirtualHome 提供一個模擬環境，用於複雜的家庭活動，讓研究人員能夠產生合成資料並訓練具身 AI 任務的代理人，而不必在真實住宅中使用實體機器人。它解決了資料稀缺以及在訓練 AI 代理人與居家環境互動時的安全風險問題。

How it works

平台結合了基於 Unity 的視覺渲染模擬器與 Python API 來執行「程式」（動作序列）。它提供兩種主要的模擬模式：

  • Unity Simulator：根據 Python 腳本渲染高保真影片與活動快照。
  • Evolving Graph：一個輕量級、僅使用 Python 的模擬器，將環境狀態以圖形方式追蹤，表示物件及其關係隨時間的變化。

Who it’s for

此平台設計給具身 AI、強化學習與電腦視覺領域的研究人員，讓他們在受控環境中模擬類人活動並產生真實標註資料（如語意分割與光流）。

Highlights

  • Interactive Environment：支援複雜互動，如撿起物件與操作家電。
  • Procedural Generation：能夠產生無限多樣的獨特家庭環境。
  • RL Integration：內建類 OpenAI Gym 的環境，並相容於 Ray 以進行平行訓練。
  • Ground-Truth Streaming：提供時間戳記的動作、深度與實例/語意分割。
  • Multi-Agent Support：允許模擬多代理人共同執行活動。